Upload app.py

app.py

@@ -2,37 +2,29 @@ import os
 import zipfile
 from huggingface_hub import login
 import torch
-from transformers import AutoTokenizer
-from peft import AutoPeftModelForCausalLM
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel, PeftConfig
 
-# 🔹 گرفتن توکن از محیط
+# 🔹 گرفتن توکن
 hf_token = os.environ.get("HF_TOKEN")
 if not hf_token:
     raise ValueError("❌ HF_TOKEN not found in environment secrets.")
 
-# 🔹 لاگین به HuggingFace
+# 🔹 لاگین
 login(hf_token)
 
-# 🔹 مسیر فایل زیپ
+# 🔹 مسیرها
 LORA_ZIP_PATH = "dorna-diabetes-finetuned-20250514T183411Z-1-001.zip"
-EXTRACT_DIR = "lora"  # پوشه‌ای که فایل‌ها داخلش اکسترکت می‌شن
+LORA_PATH = "dorna-diabetes-finetuned"
+BASE_MODEL = "PartAI/Dorna-Llama3-8B-Instruct"
 
-# ✅ اکسترکت فایل ZIP در صورت نیاز
-if not os.path.exists(EXTRACT_DIR):
-    with zipfile.ZipFile(LORA_ZIP_PATH, 'r') as zip_ref:
-        zip_ref.extractall(EXTRACT_DIR)
+# ✅ اکسترکت
+if not os.path.exists(LORA_PATH):
+    with zipfile.ZipFile(LORA_ZIP_PATH, "r") as zip_ref:
+        zip_ref.extractall(LORA_PATH)
     print("✅ فایل LoRA اکسترکت شد.")
 
-# ✅ پیدا کردن مسیر فولدر واقعی شامل adapter_config.json
-# معمولاً zip یک زیرپوشه می‌سازه داخل خودش
-for root, dirs, files in os.walk(EXTRACT_DIR):
-    if "adapter_config.json" in files:
-        LORA_PATH = root
-        break
-else:
-    raise FileNotFoundError("❌ adapter_config.json در هیچ زیرپوشه‌ای یافت نشد.")
-
-# ✅ تغییر نام فایل .safetensors به adapter_model.safetensors اگر لازم بود
+# ✅ تغییر نام safetensors به adapter_model.safetensors
 for filename in os.listdir(LORA_PATH):
     if filename.endswith(".safetensors") and filename != "adapter_model.safetensors":
         os.rename(
@@ -42,26 +34,28 @@ for filename in os.listdir(LORA_PATH):
         print("✅ اسم فایل تغییر کرد.")
         break
 
-# 🔹 بارگذاری مدل و توکنایزر
-print("🔹 در حال بارگذاری مدل پایه + LoRA...")
-
-model = AutoPeftModelForCausalLM.from_pretrained(
-    LORA_PATH,
-    torch_dtype=torch.float16,
-    low_cpu_mem_usage=True,
+# ✅ بارگذاری مدل پایه
+print("🔹 در حال بارگذاری مدل پایه...")
+base_model = AutoModelForCausalLM.from_pretrained(
+    BASE_MODEL,
     device_map="auto",
-    token=hf_token,
-    trust_remote_code=True
+    torch_dtype=torch.float16,
+    load_in_4bit=True,
+    trust_remote_code=True,
+    token=hf_token
 )
 
-tokenizer = AutoTokenizer.from_pretrained(
-    model.base_model.config._name_or_path,
-    token=hf_token,
-    trust_remote_code=True
-)
+# ✅ بارگذاری LoRA روی مدل پایه
+print("🔹 در حال بارگذاری LoRA...")
+model = PeftModel.from_pretrained(base_model, LORA_PATH)
+model.eval()
+
+# ✅ توکنایزر
+tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, token=hf_token)
 
 print("✅ مدل و توکنایزر با موفقیت بارگذاری شدند.")
 
+# 🧪 تست ساده
 while True:
     prompt = input("📝 یک دستور وارد کن (exit برای خروج): ")
     if prompt.lower() == "exit":
@@ -69,4 +63,4 @@ while True:
     inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
     outputs = model.generate(**inputs, max_new_tokens=200)
     response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    print("🧠 پاسخ:", response)
+    print("🧠 پاسخ:", response)