Update app.py

app.py

@@ -1,7 +1,7 @@
 import gradio as gr
 import os
 from langdetect import detect
-from sentence_transformers import SentenceTransformer
+from transformers import pipeline, AutoTokenizer, AutoModelForQuestionAnswering
 import numpy as np
 import re
 import random
@@ -28,70 +28,28 @@ def load_and_preprocess_files():
     
     return knowledge_base
 
-# Инициализация модели для семантического поиска
-def initialize_search_model():
-    return SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
+# Инициализация модели вопрос-ответ
+def initialize_qa_model():
+    tokenizer = AutoTokenizer.from_pretrained('DeepPavlov/rubert-base-cased')
+    model = AutoModelForQuestionAnswering.from_pretrained('DeepPavlov/rubert-base-cased')
+    qa_pipeline = pipeline('question-answering', model=model, tokenizer=tokenizer)
+    return qa_pipeline
 
 # Поиск релевантной информации
-def find_relevant_info(question, knowledge_base, model, top_k=3):
-    all_fragments = []
+def find_relevant_context(question, knowledge_base):
+    all_paragraphs = []
     for category, paragraphs in knowledge_base.items():
-        for para in paragraphs:
-            all_fragments.append((para, category))
+        all_paragraphs.extend(paragraphs)
     
-    if not all_fragments:
-        return []
-    
-    texts = [f[0] for f in all_fragments]
-    embeddings = model.encode(texts)
-    question_embedding = model.encode([question])
-    
-    similarities = np.dot(embeddings, question_embedding.T).flatten()
-    top_indices = similarities.argsort()[-top_k:][::-1]
-    
-    return [all_fragments[i] for i in top_indices]
+    # Чтобы не работать по всей базе, берём случайные 10 абзацев (упрощённый вариант, можно сделать лучше)
+    sample_paragraphs = random.sample(all_paragraphs, min(10, len(all_paragraphs)))
+    context = " ".join(sample_paragraphs)
+    return context
 
-# Генерация естественного ответа
-def generate_natural_response(question, relevant_info):
-    if not relevant_info:
-        return "Извините, не нашел информации по вашему вопросу. Попробуйте переформулировать."
-    
-    question_type = "о них"
-    if "вампир" in question.lower():
-        question_type = "о вампирах"
-    elif "оборотн" in question.lower() or "волколак" in question.lower():
-        question_type = "об оборотнях"
-    elif "человек" in question.lower() or "люди" in question.lower():
-        question_type = "о людях"
-    
-    unique_info = []
-    seen = set()
-    for para, category in relevant_info:
-        if para not in seen:
-            unique_info.append((para, category))
-            seen.add(para)
-    
-    response = f"Вот что мне известно {question_type}:\n\n"
-    
-    for i, (para, category) in enumerate(unique_info, 1):
-        if para.startswith("- "):
-            para = para.replace("\n- ", "\n• ").replace("- ", "• ")
-        
-        if len(set(c for _, c in unique_info)) > 1:
-            response += f"{i}. ({category.capitalize()}) {para}\n\n"
-        else:
-            response += f"{i}. {para}\n\n"
-    
-    endings = [
-        "Надеюсь, эта информация была полезной!",
-        "Если хотите узнать больше деталей, уточните вопрос.",
-        "Могу уточнить какие-то моменты, если нужно.",
-        "Это основные сведения, которые у меня есть."
-    ]
-    
-    response += random.choice(endings)
-    
-    return response
+# Генерация ответа через модель
+def generate_answer(question, context, qa_pipeline):
+    result = qa_pipeline(question=question, context=context)
+    return result['answer']
 
 # Обработка вопроса
 def process_question(question, history):
@@ -104,11 +62,15 @@ def process_question(question, history):
     if not hasattr(process_question, 'knowledge_base'):
         process_question.knowledge_base = load_and_preprocess_files()
     
-    if not hasattr(process_question, 'search_model'):
-        process_question.search_model = initialize_search_model()
+    if not hasattr(process_question, 'qa_pipeline'):
+        process_question.qa_pipeline = initialize_qa_model()
+    
+    context = find_relevant_context(question, process_question.knowledge_base)
+    answer = generate_answer(question, context, process_question.qa_pipeline)
     
-    relevant_info = find_relevant_info(question, process_question.knowledge_base, process_question.search_model)
-    answer = generate_natural_response(question, relevant_info)
+    if not answer.strip():
+        answer = "Извините, я не смог найти точный ответ. Попробуйте перефо��мулировать вопрос."
+
     history.append((question, answer))
     return "", history
 
@@ -117,14 +79,12 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     gr.Markdown("""<h1 style='text-align: center'>🧛‍♂️ Мир сверхъестественного 🐺</h1>""")
     gr.Markdown("""<div style='text-align: center'>Задавайте вопросы о вампирах, оборотнях и людях на русском языке</div>""")
     
-    # Сначала определяем элементы ввода
     msg = gr.Textbox(
         label="Ваш вопрос",
         placeholder="Введите вопрос и нажмите Enter...",
         container=False
     )
     
-    # Затем определяем примеры, которые используют msg
     examples = gr.Examples(
         examples=[
             "Какие слабости у вампиров?",
@@ -136,7 +96,6 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
         label="Примеры вопросов:"
     )
     
-    # Затем определяем чат
     chatbot = gr.Chatbot(
         label="Диалог",
         height=500