Update app.py

app.py

@@ -3,9 +3,10 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
 
 # Загружаем модель для русского языка
-model_name = "DeepPavlov/rubert-base-cased"  # или другая модель для русского языка
+model_name = "sberbank-ai/ruT5-base"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+
 
 # Проверка доступности GPU (если оно есть)
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
@@ -14,11 +15,16 @@ model = model.to(device)
 # Генерация ответа с более точным форматом
 # Генерация ответа
 def generate_response(question):
-    prompt = f"Вы — сотрудник банка. Клиент задает вопрос, и вы должны дать ясный и точный ответ.\nВопрос клиента: {question}\nОтвет банка:"
+    # Новый промпт
+    prompt = f"Представьте, что вы сотрудник банка, и клиент спрашивает вас: '{question}'. Пожалуйста, дайте подробный ответ."
+    
+    # Подготовка входных данных
     inputs = tokenizer(prompt, return_tensors="pt").to(device)
     
-    outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, top_p=0.95, top_k=50, temperature=0.7)
+    # Генерация ответа с измененными параметрами
+    outputs = model.generate(**inputs, max_new_tokens=50, do_sample=True, top_p=0.95, top_k=50, temperature=1.0)
     
+    # Декодирование и удаление лишнего текста
     generated = tokenizer.decode(outputs[0], skip_special_tokens=True)
     response = generated.replace(prompt, "").strip()