Update app.py

app.py

@@ -2,16 +2,22 @@ import subprocess
 import sys
 
 # Cài đặt thư viện nếu chưa có
-subprocess.check_call([sys.executable, "-m", "pip", "install", "transformers", "streamlit", "torch"])
+subprocess.check_call([sys.executable, "-m", "pip", "install", "transformers", "streamlit", "torch", "peft"])
 
 import streamlit as st
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
+from peft import PeftModel
 import torch
 
-# Load model and tokenizer
-MODEL_NAME = "lora_model"  # Thay thế bằng tên mô hình thực tế của bạn
-model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch.float16, device_map="auto")
-tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+# Định nghĩa tên mô hình gốc và adapter
+BASE_MODEL_NAME = "unsloth/deepseek-r1-distill-llama-8b-unsloth-bnb-4bit"
+ADAPTER_MODEL_PATH = "lora_model"
+
+# Load mô hình gốc
+base_model = AutoModelForCausalLM.from_pretrained(BASE_MODEL_NAME, torch_dtype=torch.float16, device_map="auto")
+# Áp dụng adapter LoRA
+model = PeftModel.from_pretrained(base_model, ADAPTER_MODEL_PATH)
+tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL_NAME)
 
 def generate_response(prompt):
     """Generate a response from the model."""
@@ -49,4 +55,3 @@ if user_input:
 
     # Append assistant response
     st.session_state.messages.append({"role": "assistant", "content": response})
-