Update app.py

app.py

@@ -1,76 +1,40 @@
 import gradio as gr
-from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
+from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
 
-# 1. Инициализация модели (с квантованием для экономии памяти)
-try:
-    model_name = "ai-forever/rugpt3small_based_on_gpt2"
-    tokenizer = AutoTokenizer.from_pretrained(model_name)
-    model = AutoModelForCausalLM.from_pretrained(
-        model_name,
-        torch_dtype=torch.float16,
-        device_map="auto",
-        load_in_8bit=True
-    )
-    generator = pipeline(
-        "text-generation",
-        model=model,
-        tokenizer=tokenizer,
-        device="cuda" if torch.cuda.is_available() else "cpu"
-    )
-except Exception as e:
-    raise RuntimeError(f"Ошибка загрузки модели: {str(e)}")
+# Загружаем модель и токенизатор
+model_name = "ai-forever/rugpt3small_based_on_gpt2"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 
-# 2. Примеры обращений
-examples = [
-    "Мой заказ #12345 не пришел",
-    "Как оформить возврат товара?",
-    "Не приходит SMS-подтверждение",
-    "Ошибка при оплате картой"
-]
-
-# 3. Функция генерации ответа с правильным форматом сообщений
-def generate_response(message, chat_history):
-    # Формируем промпт с историей диалога
-    prompt = "Ты оператор поддержки. Вежливо отвечай клиенту на русском.\n\n"
-    for user_msg, bot_msg in chat_history:
-        prompt += f"Клиент: {user_msg}\nОператор: {bot_msg}\n"
-    prompt += f"Клиент: {message}\nОператор:"
-    
-    try:
-        # Генерация ответа
-        response = generator(
-            prompt,
-            max_new_tokens=200,
-            temperature=0.7,
+# Функция генерации ответа
+def generate_response(prompt):
+    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=512)
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=150,
             do_sample=True,
-            top_p=0.9
+            temperature=0.7,
+            top_k=50,
+            top_p=0.95,
+            eos_token_id=tokenizer.eos_token_id
         )
-        bot_message = response[0]["generated_text"].split("Оператор:")[-1].strip()
-        
-        # Возвращаем обновленную историю диалога в правильном формате
-        return chat_history + [(message, bot_message)]
-    except Exception as e:
-        print(f"Ошибка генерации: {str(e)}")
-        return chat_history + [(message, f"Извините, произошла ошибка. {str(e)}")]
-
-# 4. Создание интерфейса с правильным форматом Chatbot
-with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("""<h1><center>📞 Поддержка клиентов</center></h1>""")
-    
-    with gr.Row():
-        with gr.Column():
-            chatbot = gr.Chatbot(height=350)
-            msg = gr.Textbox(label="Ваш вопрос", placeholder="Опишите проблему...")
-            btn = gr.Button("Отправить", variant="primary")
-        
-        with gr.Column():
-            gr.Examples(examples, inputs=msg, label="Примеры обращений")
-            gr.Markdown("**Подсказки:**\n1. Укажите номер заказа\n2. Опишите проблему подробно")
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    # Удаляем промпт из ответа, если повторяется
+    if response.startswith(prompt):
+        response = response[len(prompt):].strip()
+    return response.strip()
 
-    # Обработчики с правильным форматом сообщений
-    btn.click(generate_response, [msg, chatbot], [chatbot])
-    msg.submit(generate_response, [msg, chatbot], [chatbot])
+# Интерфейс Gradio
+demo = gr.Interface(
+    fn=generate_response,
+    inputs=gr.Textbox(lines=4, label="Введите вопрос по клиентским обещаниям банка"),
+    outputs=gr.Textbox(label="Ответ модели"),
+    title="Анализ клиентских обещаний — RuGPT-3",
+    description="Используется модель ai-forever/rugpt3small_based_on_gpt2 на основе данных ZhenDOS/alpha_bank_data."
+)
 
-if __name__ == "__main__":
-    demo.launch(server_name="0.0.0.0", server_port=7860)
+# Запуск
+if name == "main":
+    demo.launch()