test xíu

app.py

@@ -1,40 +1,41 @@
-# app_phogpt4b_chat.py
 import gradio as gr
-# Load model directly
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
+# Load PhoGPT-4B-Chat model and tokenizer
 tokenizer = AutoTokenizer.from_pretrained("vinai/PhoGPT-4B-Chat", trust_remote_code=True)
 model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat", trust_remote_code=True)
 
-# 2️⃣ Hàm chat handler
-def respond(message, history):
-    # Gom lịch sử chat + tin nhắn mới vào prompt
-    prompt = ""
+def respond(message, history, system_message, max_tokens, temperature, top_p):
+    messages = f"{system_message}\n"
     for user_msg, bot_msg in history:
-        prompt += f"Bạn: {user_msg}\nBot: {bot_msg}\n"
-    prompt += f"Bạn: {message}\nBot:"
+        if user_msg:
+            messages += f"User: {user_msg}\n"
+        if bot_msg:
+            messages += f"Bot: {bot_msg}\n"
+    messages += f"User: {message}\nBot:"
 
-    # Sinh văn bản
-    outputs = pipe(
-        prompt,
-        max_new_tokens=100,  # khoảng 60–80 từ
-        temperature=0.7,
-        top_p=0.9,
-        do_sample=True
+    inputs = tokenizer(messages, return_tensors="pt")
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=max_tokens,
+        temperature=temperature,
+        top_p=top_p,
+        do_sample=True,
+        pad_token_id=tokenizer.eos_token_id
     )
-    generated = outputs[0]["generated_text"]
+    full_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    response = full_output.replace(messages, "").strip()
+    yield response
 
-    # Tách phần Bot trả lời
-    answer = generated.replace(prompt, "").strip()
 
-    # Cập nhật lịch sử và trả về
-    history.append((message, answer))
-    return history
-
-# 3️⃣ Giao diện Gradio
 demo = gr.ChatInterface(
-    fn=respond,
-    # Không thêm message_format hay type → dùng default tuple format
+    respond,
+    additional_inputs=[
+        gr.Textbox(value="Bạn là một chatbot người Việt thân thiện.", label="System message"),
+        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
+        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
+        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
+    ],
 )
 
 if __name__ == "__main__":