premier up

.gitattributes

@@ -34,3 +34,9 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *.json filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+storage/* filter=lfs diff=lfs merge=lfs -text
+storage/default__vector_store.json filter=lfs diff=lfs merge=lfs -text
+storage/docstore.json filter=lfs diff=lfs merge=lfs -text
+storage/graph_store.json filter=lfs diff=lfs merge=lfs -text
+storage/image__vector_store.json filter=lfs diff=lfs merge=lfs -text
+storage/index_store.json filter=lfs diff=lfs merge=lfs -text

main.py

@@ -8,6 +8,7 @@ from fastapi import FastAPI
 from fastapi.middleware.cors import CORSMiddleware
 from pydantic import BaseModel
 from llama_index.core.llms import ChatMessage
+from sse_starlette import EventSourceResponse
 
 class History(BaseModel):
     role: str
@@ -15,7 +16,7 @@ class History(BaseModel):
 
 class Request(BaseModel):
     chat_message: list[History]
-    query : str
+    query: str
 
 app = FastAPI()
 
@@ -28,10 +29,11 @@ app.add_middleware(
 )
 
 load_dotenv()
-Settings.llm = Groq(temperature=0.8,model="llama-3.1-70b-versatile", api_key=os.getenv('GROQ_API_KEY'))
+Settings.llm = Groq(temperature=0.8, model="llama-3.1-70b-versatile", api_key=os.getenv('GROQ_API_KEY'))
 Settings.embed_model = HuggingFaceEmbedding(model_name="OrdalieTech/Solon-embeddings-large-0.1")
+
 try:
-    storage_context = StorageContext.from_defaults(persist_dir = './storage')
+    storage_context = StorageContext.from_defaults(persist_dir='./storage')
     res_index = load_index_from_storage(storage_context)
     index_loaded = True
 except:
@@ -41,33 +43,50 @@ if not index_loaded:
     print('index creation, please wait...')
     res_doc = SimpleDirectoryReader('./documents').load_data()
     res_index = VectorStoreIndex.from_documents(res_doc)
-    res_index.storage_context.persist(persist_dir = './storage')
+    res_index.storage_context.persist(persist_dir='./storage')
     print('index creation completed')
 
-prompt =  (
-        "Tu dois incarner René Descartes en t'appropriant ses pensées, ses expressions, ses souvenirs, de sorte que l'interlocuteur puisse vraiment avoir l'impression de parler à ce personnage. Si jamais l'interlocuteur te pose des questions qui te font sortir de la philosophie, refuse poliment et recadre la discussion."
-        "Tu es donc un célèbre philosophe français du XVIIe siècle. Tu es connu pour avoir cherché à fonder la connaissance sur des bases solides, en évitant les erreurs et les illusions qui peuvent tromper les sens ou la raison. Tu as développé une méthode rigoureuse pour atteindre cette certitude, qui repose sur le doute méthodique, la décomposition des problèmes en éléments simples et l'établissement de vérités claires et distinctes. Tu es convaincu que la raison humaine est capable de découvrir les lois universelles qui régissent l'ensemble du monde, et que cette connaissance peut nous permettre de maîtriser notre environnement et de mieux nous connaître nous-mêmes. Tu t'intéresses à de nombreuses questions, de la métaphysique à la physique en passant par la morale et la politique, mais tu as toujours cherché à établir des preuves solides et rigoureuses pour étayer tes arguments. Ce qui caractérise ta façon de penser, c'est la clarté et la distinction des idées. Tu cherches toujours à analyser les problèmes en leurs éléments les plus simples, à les décomposer en idées claires et distinctes, pour pouvoir ensuite les reconstituer de manière cohérente."
-        "Tes répliques doivent être courtes, et elles doivent être suffisamment claires pour que de jeunes élèves puissent les comprendre. Quand tu présentes une idée un peu abstraite, illustre-la par un exemple concret, simple et clair. N'oublie pas de parler à la première personne."
-    )
+prompt = (
+    "Tu dois incarner René Descartes en t'appropriant ses pensées, ses expressions, ses souvenirs, de sorte que l'interlocuteur puisse vraiment avoir l'impression de parler à ce personnage. Si jamais l'interlocuteur te pose des questions qui te font sortir de la philosophie, refuse poliment et recadre la discussion. En début d'intervention, évite les exclamations ; en fin d'intervention, ne résume pas ce que tu viens de dire."
+    "Tu es donc un célèbre philosophe français du XVIIe siècle. Tu es connu pour avoir cherché à fonder la connaissance sur des bases solides, en évitant les erreurs et les illusions qui peuvent tromper les sens ou la raison. Tu as développé une méthode rigoureuse pour atteindre cette certitude, qui repose sur le doute méthodique, la décomposition des problèmes en éléments simples et l'établissement de vérités claires et distinctes. Tu es convaincu que la raison humaine est capable de découvrir les lois universelles qui régissent l'ensemble du monde, et que cette connaissance peut nous permettre de maîtriser notre environnement et de mieux nous connaître nous-mêmes. Tu t'intéresses à de nombreuses questions, de la métaphysique à la physique en passant par la morale et la politique, mais tu as toujours cherché à établir des preuves solides et rigoureuses pour étayer tes arguments. Ce qui caractérise ta façon de penser, c'est la clarté et la distinction des idées. Tu cherches toujours à analyser les problèmes en leurs éléments les plus simples, à les décomposer en idées claires et distinctes, pour pouvoir ensuite les reconstituer de manière cohérente."
+    "Tes répliques doivent être courtes, et elles doivent être suffisamment claires pour que de jeunes élèves puissent les comprendre. Tes interventions sont cohérentes, bien construites et solidement argumentées. Quand tu présentes une idée un peu abstraite, illustre-la par un exemple concret, simple et clair. N'oublie pas de parler à la première personne."
+)
 
-def get_chat_history(chat_messages):  
-    chat_history = []  
+def get_chat_history(chat_messages):
+    chat_history = []
     for message in chat_messages:
-        msg = message.content.replace("{", "{{")
-        msg = msg.replace("}", "}}")     
-        chat_history.append(ChatMessage(content=msg, role=message.role))  
-    return chat_history[-6:]
+        msg = message.content.replace("{", "{{").replace("}", "}}")
+        chat_history.append(ChatMessage(content=msg, role=message.role))
+    return chat_history[-6:]  # Limiter l'historique si nécessaire
 
 @app.get("/")
 def index():
-    return {"content":"Chatbot NSI"}
+    return {"content": "Chatbot NSI"}
 
 @app.post('/request')
-def request(req: Request):
+async def request_chat(req: Request):
+    chat_history = get_chat_history(req.chat_message)
+    query = req.query.replace("{", "{{").replace("}", "}}")  # Échapper les accolades si nécessaire
+
     chat_engine = res_index.as_chat_engine(
         chat_mode="context",
-        system_prompt = prompt,
+        system_prompt=prompt,
     )
-    chat_history = get_chat_history(req.chat_message)
-    response = chat_engine.chat(req.query, chat_history=chat_history)
-    return {"response":response.response}
+
+    # Réinitialiser et définir l'historique du chat
+    chat_engine.reset()
+    for msg in chat_history:
+        chat_engine.chat_history.append(msg)
+
+    # Lancer le chat avec la nouvelle requête
+    response = chat_engine.stream_chat(query)
+
+    async def event_generator():
+        try:
+            for msg in response.response_gen:
+                yield {'event': 'message', 'data': msg}
+            yield {'event': 'end', 'data': ''}
+        except Exception as e:
+            yield {'event': 'error', 'data': str(e)}
+
+    return EventSourceResponse(event_generator())

requirements.txt

@@ -3,3 +3,4 @@ llama-index-embeddings-huggingface
 llama-index-llms-groq
 python-dotenv
 fastapi[all]
+sse_starlette