app.py

# banking_prompting_app.py

import gradio as gr
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import torch

# Используем модель Flan-T5 или Sberbank AI
model_name = "cointegrated/rugpt2-large"  # Можно заменить на sberbank-ai/rugpt3small или другую

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

def generate_response(user_query):
    # Промпт можно адаптировать под нужную задачу (обслуживание клиентов / антифрод)
    prompt = f"Отвечай как банковский ассистент. Вопрос клиента: {user_query}"

    inputs = tokenizer(prompt, return_tensors="pt", max_length=512, truncation=True)
    with torch.no_grad():
        outputs = model.generate(**inputs, max_new_tokens=100)

    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response

# Интерфейс Gradio
iface = gr.Interface(
    fn=generate_response,
    inputs=gr.Textbox(lines=4, label="Введите банковский запрос клиента"),
    outputs=gr.Textbox(lines=6, label="Ответ модели"),
    title="🤖 Помощник по банковским вопросам",
    description="Эта система использует LLM и технологии промптинга для обслуживания клиентов в банковской сфере."
)

if __name__ == "__main__":
    iface.launch()