Update app.py

app.py

@@ -1,16 +1,15 @@
 import gradio as gr
 from transformers import pipeline
 
-# Загрузим модель (в данном случае это Falcon-7B, ты можешь использовать другую модель)
-# Убедись, что библиотека "accelerate" установлена, иначе модель может не загружаться корректно.
-chatbot = pipeline("text-generation", model="tiiuae/falcon-7b-instruct", device=0)  # Используем GPU, если доступен
+# Загрузим модель GPT-2 (меньше по памяти)
+chatbot = pipeline("text-generation", model="gpt2", device=0)  # Используем GPU, если доступен
 
 # Функция обработки запроса от клиента
 def respond_to_client(message):
     # Формируем промпт, который модель будет обрабатывать
     prompt = f"Клиент: {message}\nБанк:"
     # Генерация ответа
-    response = chatbot(prompt, max_new_tokens=100, do_sample=True)
+    response = chatbot(prompt, max_new_tokens=50, do_sample=True)
     # Возвращаем сгенерированный ответ
     return response[0]['generated_text'].replace(prompt, "").strip()