chat / app.py
SimrusDenuvo's picture
Update app.py
eaa75b3 verified
raw
history blame
1.57 kB
# banking_prompting_app.py
import gradio as gr
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import torch
# Используем модель Flan-T5 или Sberbank AI
model_name = "cointegrated/rugpt2-large" # Можно заменить на sberbank-ai/rugpt3small или другую
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
def generate_response(user_query):
# Промпт можно адаптировать под нужную задачу (обслуживание клиентов / антифрод)
prompt = f"Отвечай как банковский ассистент. Вопрос клиента: {user_query}"
inputs = tokenizer(prompt, return_tensors="pt", max_length=512, truncation=True)
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=100)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
return response
# Интерфейс Gradio
iface = gr.Interface(
fn=generate_response,
inputs=gr.Textbox(lines=4, label="Введите банковский запрос клиента"),
outputs=gr.Textbox(lines=6, label="Ответ модели"),
title="🤖 Помощник по банковским вопросам",
description="Эта система использует LLM и технологии промптинга для обслуживания клиентов в банковской сфере."
)
if __name__ == "__main__":
iface.launch()