test deepseek

phoGPT.py

@@ -1,74 +1,74 @@
-# app.py
-import gradio as gr # type: ignore
-import torch # type: ignore
-from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer
+# # app.py
+# import gradio as gr # type: ignore
+# import torch # type: ignore
+# from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer
 
-# 1️⃣ Cấu hình và load model + tokenizer
-model_path = "vinai/PhoGPT-4B-Chat"
+# # 1️⃣ Cấu hình và load model + tokenizer
+# model_path = "vinai/PhoGPT-4B-Chat"
  
-config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
-config.init_device = "cpu"
+# config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
+# config.init_device = "cpu"
 
-model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat", trust_remote_code=True)
-model.eval()
-tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
+# model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat", trust_remote_code=True)
+# model.eval()
+# tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
 
 
-def respond(message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p):
-    # 2.1 — Gom system message và history vào messages list
-    messages = [{"role": "system", "content": system_message}]
-    for u, b in history:
-        if u:
-            messages.append({"role": "user", "content": u})
-        if b:
-            messages.append({"role": "assistant", "content": b})
-    messages.append({"role": "user", "content": message})
+# def respond(message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p):
+#     # 2.1 — Gom system message và history vào messages list
+#     messages = [{"role": "system", "content": system_message}]
+#     for u, b in history:
+#         if u:
+#             messages.append({"role": "user", "content": u})
+#         if b:
+#             messages.append({"role": "assistant", "content": b})
+#     messages.append({"role": "user", "content": message})
 
-    # 2.2 — Tạo prompt chuẩn
-    input_prompt  = tokenizer.apply_chat_template(
-        messages,
-        tokenize=False,
-        add_generation_prompt=True
-    )
+#     # 2.2 — Tạo prompt chuẩn
+#     input_prompt  = tokenizer.apply_chat_template(
+#         messages,
+#         tokenize=False,
+#         add_generation_prompt=True
+#     )
 
-    # 2.3 — Tokenize và đưa lên device
-    # inputs = tokenizer(input_prompt, return_tensors="pt")
-    input_ids = tokenizer(input_prompt, return_tensors="pt")  
-    # inputs = {k: v.to(model.device) for k, v in inputs.items()}
+#     # 2.3 — Tokenize và đưa lên device
+#     # inputs = tokenizer(input_prompt, return_tensors="pt")
+#     input_ids = tokenizer(input_prompt, return_tensors="pt")  
+#     # inputs = {k: v.to(model.device) for k, v in inputs.items()}
 
-    # 2.4 — Sinh text
-    outputs = model.generate(
-        inputs=input_ids["input_ids"], 
-        max_new_tokens=max_tokens,
-        temperature=temperature,
-        top_p=top_p,
-        do_sample=True,
-        eos_token_id=tokenizer.eos_token_id,
-        pad_token_id=tokenizer.pad_token_id,
-    )
-    # print('!!!! OUTPUTS 1: ',outputs)
-    # 2.5 — Decode và tách phần assistant trả lời
-    response = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]  
-    print('!! OUTPUTS 2: ',response)
+#     # 2.4 — Sinh text
+#     outputs = model.generate(
+#         inputs=input_ids["input_ids"], 
+#         max_new_tokens=max_tokens,
+#         temperature=temperature,
+#         top_p=top_p,
+#         do_sample=True,
+#         eos_token_id=tokenizer.eos_token_id,
+#         pad_token_id=tokenizer.pad_token_id,
+#     )
+#     # print('!!!! OUTPUTS 1: ',outputs)
+#     # 2.5 — Decode và tách phần assistant trả lời
+#     response = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]  
+#     print('!! OUTPUTS 2: ',response)
 
-    response = response.split("### Trả lời:")[1]
-    print('!!!! OUTPUTS 3: ',response)
-    return response
+#     response = response.split("### Trả lời:")[1]
+#     print('!!!! OUTPUTS 3: ',response)
+#     return response
 
-    # 2.6 — Cập nhật history và trả về
-    # history.append((message, response))
-    # return history
+#     # 2.6 — Cập nhật history và trả về
+#     # history.append((message, response))
+#     # return history
 
-# 3️⃣ Giao diện Gradio
-demo = gr.ChatInterface(
-    respond, #câu phản hồi
-    additional_inputs=[
-        gr.Textbox("Bạn là một chatbot tiếng Việt thân thiện.", label="System message"),
-        gr.Slider(1, 2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(0.1, 4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(0.1, 1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
-    ],
-)
+# # 3️⃣ Giao diện Gradio
+# demo = gr.ChatInterface(
+#     respond, #câu phản hồi
+#     additional_inputs=[
+#         gr.Textbox("Bạn là một chatbot ti��ng Việt thân thiện.", label="System message"),
+#         gr.Slider(1, 2048, value=512, step=1, label="Max new tokens"),
+#         gr.Slider(0.1, 4.0, value=0.7, step=0.1, label="Temperature"),
+#         gr.Slider(0.1, 1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
+#     ],
+# )
 
-if __name__ == "__main__":
-    demo.launch()
+# if __name__ == "__main__":
+#     demo.launch()

test.py

@@ -1,205 +1,205 @@
-import gradio as gr # type: ignore
-from huggingface_hub import InferenceClient # type: ignore
-
-"""
-For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
-"""
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
-
-
-def respond(
-    message,
-    history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-):
-    messages = [{"role": "system", "content": system_message}]
-
-    for val in history:
-        if val[0]:
-            messages.append({"role": "user", "content": val[0]})
-        if val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
-
-    messages.append({"role": "user", "content": message})
-
-    response = ""
-
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature,
-        top_p=top_p,
-    ):
-        token = message.choices[0].delta.content
-
-        response += token
-        yield response
-
-
-"""
-For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
-"""
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p (nucleus sampling)",
-        ),
-    ],
-)
-
-
-if __name__ == "__main__":
-    demo.launch()
-
-
-
-###########################
-
-# app.py
-import gradio as gr # type: ignore
-import os
-
-# import openai # type: ignore
-# # openai.api_key = os.getenv("OPENAI_API_KEY")
-# client = openai.OpenAI()
+# import gradio as gr # type: ignore
+# from huggingface_hub import InferenceClient # type: ignore
+
+# """
+# For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
+# """
+# client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+
+
 # def respond(
-#             message, 
-#             history: list[tuple[str, str]], 
-#             system_message, 
-#             max_tokens, 
-#             temperature, 
-#             top_p, 
-#             image_uploaded,
-#             file_uploaded
-#     ):
-    
-#     #read system message
+#     message,
+#     history: list[tuple[str, str]],
+#     system_message,
+#     max_tokens,
+#     temperature,
+#     top_p,
+# ):
 #     messages = [{"role": "system", "content": system_message}]
-    
-#     #read history
+
 #     for val in history:
 #         if val[0]:
 #             messages.append({"role": "user", "content": val[0]})
 #         if val[1]:
 #             messages.append({"role": "assistant", "content": val[1]})
-    
-#     #read output
+
 #     messages.append({"role": "user", "content": message})
-#     print("## Messages: \n", messages) #debug output
 
-#     #create output
-#     response = client.responses.create(
-#         model="gpt-4.1-nano", 
-#         input=messages,
+#     response = ""
+
+#     for message in client.chat_completion(
+#         messages,
+#         max_tokens=max_tokens,
+#         stream=True,
 #         temperature=temperature,
 #         top_p=top_p,
-#         max_output_tokens=max_tokens
-#     )
-
-#     #read output
-#     response = response.output_text
-#     print("## Response: ", response) #debug output
-#     print("\n")
-#     yield response #chat reply
-
-# import torch
-# from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
-# model_name = "deepseek-ai/deepseek-math-7b-base"
-# tokenizer = AutoTokenizer.from_pretrained(model_name)
-# model = AutoModelForCausalLM.from_pretrained(model_name)
-# # model.generation_config = GenerationConfig.from_pretrained(model_name)
-# # model.generation_config.pad_token_id = model.generation_config.eos_token_id
-# def deepseek(
-#             message, 
-#             history: list[tuple[str, str]], 
-#             system_message, 
-#             max_tokens, 
-#             temperature, 
-#             top_p):
+#     ):
+#         token = message.choices[0].delta.content
+
+#         response += token
+#         yield response
+
+
+# """
+# For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
+# """
+# demo = gr.ChatInterface(
+#     respond,
+#     additional_inputs=[
+#         gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
+#         gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
+#         gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
+#         gr.Slider(
+#             minimum=0.1,
+#             maximum=1.0,
+#             value=0.95,
+#             step=0.05,
+#             label="Top-p (nucleus sampling)",
+#         ),
+#     ],
+# )
+
+
+# if __name__ == "__main__":
+#     demo.launch()
+
+
+
+# ###########################
+
+# # app.py
+# import gradio as gr # type: ignore
+# import os
+
+# # import openai # type: ignore
+# # # openai.api_key = os.getenv("OPENAI_API_KEY")
+# # client = openai.OpenAI()
+# # def respond(
+# #             message, 
+# #             history: list[tuple[str, str]], 
+# #             system_message, 
+# #             max_tokens, 
+# #             temperature, 
+# #             top_p, 
+# #             image_uploaded,
+# #             file_uploaded
+# #     ):
+    
+# #     #read system message
+# #     messages = [{"role": "system", "content": system_message}]
+    
+# #     #read history
+# #     for val in history:
+# #         if val[0]:
+# #             messages.append({"role": "user", "content": val[0]})
+# #         if val[1]:
+# #             messages.append({"role": "assistant", "content": val[1]})
+    
+# #     #read output
+# #     messages.append({"role": "user", "content": message})
+# #     print("## Messages: \n", messages) #debug output
+
+# #     #create output
+# #     response = client.responses.create(
+# #         model="gpt-4.1-nano", 
+# #         input=messages,
+# #         temperature=temperature,
+# #         top_p=top_p,
+# #         max_output_tokens=max_tokens
+# #     )
+
+# #     #read output
+# #     response = response.output_text
+# #     print("## Response: ", response) #debug output
+# #     print("\n")
+# #     yield response #chat reply
+
+# # import torch
+# # from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
+# # model_name = "deepseek-ai/deepseek-math-7b-base"
+# # tokenizer = AutoTokenizer.from_pretrained(model_name)
+# # model = AutoModelForCausalLM.from_pretrained(model_name)
+# # # model.generation_config = GenerationConfig.from_pretrained(model_name)
+# # # model.generation_config.pad_token_id = model.generation_config.eos_token_id
+# # def deepseek(
+# #             message, 
+# #             history: list[tuple[str, str]], 
+# #             system_message, 
+# #             max_tokens, 
+# #             temperature, 
+# #             top_p):
     
     
-#     # messages = [
-#     #     {"role": "user", "content": "what is the integral of x^2 from 0 to 2?\nPlease reason step by step, and put your final answer within \\boxed{}."}
-#     # ]
-#     messages = [
-#         {"role": "user", "content": message}
-#     ]
-
-#     input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
-#     outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)
-#     print(outputs)
-#     print("\n")
-#     result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
-#     print(result)
-#     return result
-
-# import replicate
-# def deepseek_api_replicate(
-#             user_message, 
-#             history: list[tuple[str, str]], 
-#             system_message, 
-#             max_new_tokens, 
-#             temperature, 
-#             top_p):
-#     """
-#     Gọi DeepSeek Math trên Replicate và trả ngay kết quả.
-
-#     Trả về:
-#         str hoặc [bytes]: output model sinh ra
-#     """
-#     # 1. Khởi tạo client và xác thực
-#     # token = os.getenv("REPLICATE_API_TOKEN")
-#     # if not token:
-#     #     raise RuntimeError("Missing REPLICATE_API_TOKEN")  # bảo mật bằng biến môi trường
-#     client = replicate.Client(api_token="REPLICATE_API_TOKEN")          
-
-#     # 2. Gọi model
-#     output = client.run(
-#         "deepseek-ai/deepseek-math-7b-base:61f572dae0985541cdaeb4a114fd5d2d16cb40dac3894da10558992fc60547c7",
-#         input={
-#             "system_prompt": system_message,
-#             "user_prompt":   user_message,
-#             "max_new_tokens": max_new_tokens,
-#             "temperature":    temperature,
-#             "top_p":          top_p
-#         }
-#     )
-
-#     # 3. Trả kết quả
-#     return output
-
-import call_api
-
-
-chat = gr.ChatInterface(
-    call_api.respond, #chat
-    title="Trợ lý Học Tập AI",
-    description="Nhập câu hỏi của bạn về Toán, Lý, Hóa, Văn… và nhận giải đáp chi tiết ngay lập tức!",
-    additional_inputs=[
-        gr.Textbox("Bạn là một chatbot tiếng Việt thân thiện.", label="System message"),
-        gr.Slider(1, 2048, value=200, step=1, label="Max new tokens"),
-        gr.Slider(0.1, 4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(0.1, 1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
-        # gr.Image(type="pil", label="Attach an image (optional)"),
-        # gr.File(label="Upload a file (optional)"),
-    ],
-    examples=[
-        # Mỗi item: [message, system_message, max_tokens, temperature, top_p]
-        ["tích phân của x^2 từ 0 đến 2 là gì? vui lòng lập luận từng bước, và đặt kết quả cuối cùng trong \boxed{}", "bạn là nhà toán học", 100, 0.7, 0.95],
-    ],
-)
-
-if __name__ == "__main__":
-    chat.launch()
+# #     # messages = [
+# #     #     {"role": "user", "content": "what is the integral of x^2 from 0 to 2?\nPlease reason step by step, and put your final answer within \\boxed{}."}
+# #     # ]
+# #     messages = [
+# #         {"role": "user", "content": message}
+# #     ]
+
+# #     input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
+# #     outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)
+# #     print(outputs)
+# #     print("\n")
+# #     result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
+# #     print(result)
+# #     return result
+
+# # import replicate
+# # def deepseek_api_replicate(
+# #             user_message, 
+# #             history: list[tuple[str, str]], 
+# #             system_message, 
+# #             max_new_tokens, 
+# #             temperature, 
+# #             top_p):
+# #     """
+# #     Gọi DeepSeek Math trên Replicate và trả ngay kết quả.
+
+# #     Trả về:
+# #         str hoặc [bytes]: output model sinh ra
+# #     """
+# #     # 1. Khởi tạo client và xác thực
+# #     # token = os.getenv("REPLICATE_API_TOKEN")
+# #     # if not token:
+# #     #     raise RuntimeError("Missing REPLICATE_API_TOKEN")  # bảo mật bằng biến môi trường
+# #     client = replicate.Client(api_token="REPLICATE_API_TOKEN")          
+
+# #     # 2. Gọi model
+# #     output = client.run(
+# #         "deepseek-ai/deepseek-math-7b-base:61f572dae0985541cdaeb4a114fd5d2d16cb40dac3894da10558992fc60547c7",
+# #         input={
+# #             "system_prompt": system_message,
+# #             "user_prompt":   user_message,
+# #             "max_new_tokens": max_new_tokens,
+# #             "temperature":    temperature,
+# #             "top_p":          top_p
+# #         }
+# #     )
+
+# #     # 3. Trả kết quả
+# #     return output
+
+# import call_api
+
+
+# chat = gr.ChatInterface(
+#     call_api.respond, #chat
+#     title="Trợ lý Học Tập AI",
+#     description="Nhập câu hỏi của bạn về Toán, Lý, Hóa, Văn… và nhận giải đáp chi tiết ngay lập tức!",
+#     additional_inputs=[
+#         gr.Textbox("Bạn là một chatbot tiếng Việt thân thiện.", label="System message"),
+#         gr.Slider(1, 2048, value=200, step=1, label="Max new tokens"),
+#         gr.Slider(0.1, 4.0, value=0.7, step=0.1, label="Temperature"),
+#         gr.Slider(0.1, 1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
+#         # gr.Image(type="pil", label="Attach an image (optional)"),
+#         # gr.File(label="Upload a file (optional)"),
+#     ],
+#     examples=[
+#         # Mỗi item: [message, system_message, max_tokens, temperature, top_p]
+#         ["tích phân của x^2 từ 0 đến 2 là gì? vui lòng lập luận từng bước, và đặt kết quả cuối cùng trong \boxed{}", "bạn là nhà toán học", 100, 0.7, 0.95],
+#     ],
+# )
+
+# if __name__ == "__main__":
+#     chat.launch()