test xíu

app.py

@@ -1,20 +1,15 @@
-# app_phogpt4b_direct.py
-import torch
+# app_phogpt4b_chat.py
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM
+from transformers import pipeline
 
-# 1️⃣ Load tokenizer & model trực tiếp
-tokenizer = AutoTokenizer.from_pretrained(
-    "vinai/PhoGPT-4B-Chat",
+# 1️⃣ Tạo pipeline với PhoGPT-4B-Chat
+pipe = pipeline(
+    "text-generation",
+    model="vinai/PhoGPT-4B-Chat",
     trust_remote_code=True
 )
-model = AutoModelForCausalLM.from_pretrained(
-    "vinai/PhoGPT-4B-Chat",
-    trust_remote_code=True
-)
-model.eval()
 
-# 2️⃣ Hàm xử lý chat
+# 2️⃣ Hàm chat handler
 def respond(message, history):
     # Gom lịch sử chat + tin nhắn mới vào prompt
     prompt = ""
@@ -22,20 +17,17 @@ def respond(message, history):
         prompt += f"Bạn: {user_msg}\nBot: {bot_msg}\n"
     prompt += f"Bạn: {message}\nBot:"
 
-    # Tokenize và generate
-    inputs = tokenizer(prompt, return_tensors="pt")
-    outputs = model.generate(
-        **inputs,
-        max_new_tokens=100,    # khoảng 60–80 từ
+    # Sinh văn bản
+    outputs = pipe(
+        prompt,
+        max_new_tokens=100,  # khoảng 60–80 từ
         temperature=0.7,
         top_p=0.9,
-        do_sample=True,
-        eos_token_id=tokenizer.eos_token_id,
-        pad_token_id=tokenizer.pad_token_id
+        do_sample=True
     )
+    generated = outputs[0]["generated_text"]
 
-    # Decode và tách đáp án
-    generated = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    # Tách phần Bot trả lời
     answer = generated.replace(prompt, "").strip()
 
     # Cập nhật lịch sử và trả về
@@ -45,10 +37,7 @@ def respond(message, history):
 # 3️⃣ Giao diện Gradio
 demo = gr.ChatInterface(
     fn=respond,
-    message_format="dict",    # format mới của Gradio 5.x
-    additional_inputs=[
-        gr.Textbox("Bạn là trợ lý AI tiếng Việt thân thiện.", label="System message")
-    ],
+    # Không thêm message_format hay type → dùng default tuple format
 )
 
 if __name__ == "__main__":