Update app.py

app.py

@@ -1,22 +1,26 @@
 import gradio as gr
 from transformers import pipeline
 
-# Загружаем модель для генерации текста (можно заменить на любую другую)
-chatbot = pipeline("text-generation", model="tiiuae/falcon-7b-instruct", device_map="auto")
+# Загрузим модель (в данном случае это Falcon-7B, ты можешь использовать другую модель)
+# Убедись, что библиотека "accelerate" установлена, иначе модель может не загружаться корректно.
+chatbot = pipeline("text-generation", model="tiiuae/falcon-7b-instruct", device=0)  # Используем GPU, если доступен
 
-# Функция обработки запроса
+# Функция обработки запроса от клиента
 def respond_to_client(message):
+    # Формируем промпт, который модель будет обрабатывать
     prompt = f"Клиент: {message}\nБанк:"
+    # Генерация ответа
     response = chatbot(prompt, max_new_tokens=100, do_sample=True)
+    # Возвращаем сгенерированный ответ
     return response[0]['generated_text'].replace(prompt, "").strip()
 
 # Создаем интерфейс с помощью Gradio
 iface = gr.Interface(
-    fn=respond_to_client,          # функция обработки
-    inputs=gr.Textbox(lines=2, placeholder="Введите сообщение клиента..."),  # ввод пользователя
-    outputs="text",                # вывод текста
-    title="Банковский чат-бот",    # заголовок
-    description="Введите вопрос клиента — получите ответ банка от LLM модели."  # описание
+    fn=respond_to_client,          # Функция обработки запроса
+    inputs=gr.Textbox(lines=2, placeholder="Введите сообщение клиента..."),  # Ввод
+    outputs="text",                # Вывод ответа
+    title="Банковский чат-бот",    # Заголовок страницы
+    description="Введите вопрос клиента — получите ответ банка от модели."  # Описание
 )
 
 # Запуск интерфейса