Update app.py

app.py

@@ -12,24 +12,19 @@ device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 model = model.to(device)
 
 # Генерация ответа с более точным форматом
+# Генерация ответа
 def generate_response(question):
-    # Создаем промпт, который будет использоваться для генерации
-    prompt = f"Вопрос: {question}\nОтвет банка:"
-    
-    # Преобразуем запрос в формат, с которым работает модель
+    prompt = f"Вы — сотрудник банка. Клиент задает вопрос, и вы должны дать ясный и точный ответ.\nВопрос клиента: {question}\nОтвет банка:"
     inputs = tokenizer(prompt, return_tensors="pt").to(device)
     
-    # Генерируем ответ с ограничениями для предотвращения повторений
-    outputs = model.generate(**inputs, max_length=100, num_return_sequences=1, do_sample=False, top_p=0.9, top_k=50)
+    outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, top_p=0.95, top_k=50, temperature=0.7)
     
-    # Декодируем ответ из токенов в текст
     generated = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    
-    # Очищаем лишние символы и возвращаем ответ
     response = generated.replace(prompt, "").strip()
     
     return response
 
+
 # Интерфейс Gradio
 iface = gr.Interface(
     fn=generate_response,