Update app.py

app.py

@@ -1,21 +1,34 @@
-from transformers import AutoTokenizer, AutoModelForCausalLM
+# banking_prompting_app.py
+
+import gradio as gr
+from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
+import torch
+
+# Используем модель Flan-T5 или Sberbank AI
+model_name = "sberbank-ai/rugpt3small"  # Можно заменить на sberbank-ai/rugpt3small или другую
 
-model_name = "ai-forever/ruGPT-3.5-13B"  # название модели на Hugging Face
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")  # загрузка модели (может быть большая, требует GPU)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
 
+def generate_response(user_query):
+    # Промпт можно адаптировать под нужную задачу (обслуживание клиентов / антифрод)
+    prompt = f"Отвечай как банковский ассистент. Вопрос клиента: {user_query}"
 
-import gradio as gr
+    inputs = tokenizer(prompt, return_tensors="pt", max_length=512, truncation=True)
+    with torch.no_grad():
+        outputs = model.generate(**inputs, max_new_tokens=100)
+
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return response
+
+# Интерфейс Gradio
+iface = gr.Interface(
+    fn=generate_response,
+    inputs=gr.Textbox(lines=4, label="Введите банковский запрос клиента"),
+    outputs=gr.Textbox(lines=6, label="Ответ модели"),
+    title="🤖 Помощник по банковским вопросам",
+    description="Эта система использует LLM и технологии промптинга для обслуживания клиентов в банковской сфере."
+)
 
-# Определяем функцию ответа, использующую загруженную ранее модель:
-def answer_question(user_input):
-    # Формируем промпт для модели – просто сам вопрос пользователя.
-    input_ids = tokenizer.encode(user_input, return_tensors='pt').to(model.device)
-    output_ids = model.generate(input_ids, max_new_tokens=100, eos_token_id=tokenizer.eos_token_id)
-    answer = tokenizer.decode(output_ids[0][input_ids.shape[-1]:], skip_special_tokens=True)
-    return answer
-
-# Создаем интерфейс Gradio с текстовым полем ввода и вывода:
-demo = gr.Interface(fn=answer_question, inputs="text", outputs="text", 
-                    title="Помощник банка", description="Задайте вопрос об услугах банка")
-demo.launch()
+if __name__ == "__main__":
+    iface.launch()