import gradio as gr from transformers import pipeline, AutoTokenizer from datasets import load_dataset # 1. Загрузка датасета с обработкой ошибок try: dataset = load_dataset("sberbank-ai/ru_helpdesk", split="train[:50]") # Первые 50 примеров examples = [d["question"] for d in dataset if "question" in d] except Exception as e: print(f"Ошибка загрузки датасета: {e}") examples = [ "Где мой заказ #12345?", "Как вернуть товар?", "Не приходит код подтверждения", "Ошибка при оплате картой", "Как изменить адрес доставки?" ] # 2. Оптимизированная загрузка модели try: tokenizer = AutoTokenizer.from_pretrained("IlyaGusev/saiga_mistral_7b-lora") model = pipeline( "text-generation", model="IlyaGusev/saiga_mistral_7b-lora", tokenizer=tokenizer, device="cpu", torch_dtype="auto", model_kwargs={"load_in_4bit": True} # Критически важно для экономии памяти ) except Exception as e: raise RuntimeError(f"Ошибка загрузки модели: {str(e)}") # 3. Генерация ответа с шаблоном def generate_response(message): prompt = f"""Ты - ИИ-ассистент поддержки. Ответь клиенту вежливо и по делу. Клиент: {message} Ассистент:""" try: response = model( prompt, max_new_tokens=150, temperature=0.3, do_sample=True ) return response[0]["generated_text"].split("Ассистент:")[-1].strip() except Exception as e: return f"⚠️ Ошибка генерации: {str(e)}" # 4. Интерфейс с примерами with gr.Blocks(theme=gr.themes.Soft()) as demo: gr.Markdown("""