app.py

import gradio as gr
from transformers import pipeline

# Загружаем модель (можно заменить на любую другую)
chatbot = pipeline("text-generation", model="tiiuae/falcon-7b-instruct", device_map="auto")

def respond_to_client(message):
    prompt = f"Клиент: {message}\nБанк:"
    response = chatbot(prompt, max_new_tokens=100, do_sample=True)
    return response[0]['generated_text'].replace(prompt, "").strip()

# Создаем простой чат-интерфейс
iface = gr.Interface(
    fn=respond_to_client,
    inputs=gr.Textbox(lines=2, placeholder="Введите сообщение клиента..."),
    outputs="text",
    title="Банковский чат-бот",
    description="Введите вопрос клиента — получите ответ банка от LLM модели."
)

iface.launch()