Update app.py

app.py

@@ -1,40 +1,36 @@
 import gradio as gr
-from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
-from datasets import load_dataset
-import random
+from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
 
-# Загружаем датасет banking77
-dataset = load_dataset("banking77", split="train")
-
-# Пример перевода некоторых вопросов вручную
-translated_questions = {
-    "How do I activate my debit card?": "Как активировать мою дебетовую карту?",
-    "What are the fees for international transfers?": "Какие комиссии за международные переводы?",
-    "How do I reset my password?": "Как сбросить мой пароль?",
-    "Where can I find my IBAN number?": "Где мне найти мой номер IBAN?",
-    "How to close my bank account?": "Как закрыть мой банковский счет?",
-}
-
-# Загружаем русскую модель
-model_name = "DeepPavlov/rubert-base-cased"
+# Загружаем модель для русского языка
+model_name = "DeepPavlov/rubert-base-cased"  # или другая модель для русского языка
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name)
 
-# Проверка доступности GPU
+# Проверка доступности GPU (если оно есть)
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 model = model.to(device)
 
-# Генерация ответа
+# Генерация ответа с более точным форматом
 def generate_response(question):
-    prompt = f"Клиент спрашивает: {question}\nБанк отвечает:"
+    # Создаем промпт, который будет использоваться для генерации
+    prompt = f"Вопрос: {question}\nОтвет банка:"
+    
+    # Преобразуем запрос в формат, с которым работает модель
     inputs = tokenizer(prompt, return_tensors="pt").to(device)
-    outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, top_p=0.95, top_k=50)
+    
+    # Генерируем ответ с ограничениями для предотвращения повторений
+    outputs = model.generate(**inputs, max_length=100, num_return_sequences=1, do_sample=False, top_p=0.9, top_k=50)
+    
+    # Декодируем ответ из токенов в текст
     generated = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    # Очищаем лишние символы и возвращаем ответ
     response = generated.replace(prompt, "").strip()
+    
     return response
 
-# Интерфейс
+# Интерфейс Gradio
 iface = gr.Interface(
     fn=generate_response,
     inputs=gr.Textbox(lines=2, placeholder="Введите банковский вопрос..."),
@@ -44,5 +40,3 @@ iface = gr.Interface(
 )
 
 iface.launch()
-
-