Upload app.py

app.py

@@ -1,62 +1,54 @@
 import os
 import zipfile
-import torch
-import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
-from peft import PeftModel
 from huggingface_hub import login
+import torch
+from transformers import AutoTokenizer
+from peft import AutoPeftModelForCausalLM
 
-
-# --- گام ۱: احراز هویت Hugging Face
+# 🔹 گرفتن توکن از محیط
 hf_token = os.environ.get("HF_TOKEN")
 if not hf_token:
     raise ValueError("❌ HF_TOKEN not found in environment secrets.")
+
+# 🔹 لاگین به HuggingFace
 login(hf_token)
 
-# اگر فایل اشتباه وجود داره و فایل جدید نه
-if os.path.exists("dorna-diabetes-finetuned-20250514T183411Z-1-001.zip") and not os.path.exists("dorna-diabetes-finetuned.zip"):
-    os.rename("dorna-diabetes-finetuned-20250514T183411Z-1-001.zip", "dorna-diabetes-finetuned.zip")
-    print("✅ اسم فایل تغییر کرد.")
+# 🔹 تنظیم مسیرها
+LORA_ZIP_PATH = "dorna-diabetes-finetuned-20250514T183411Z-1-001.zip"  # نام فایل زیپ که آپلود کردی
+LORA_PATH = "./dorna-diabetes-finetuned"
 
-# --- گام ۲: اکسترکت فایل فشرده (فقط بار اول)
-if not os.path.exists("dorna-diabetes-finetuned"):
-    with zipfile.ZipFile("dorna-diabetes-finetuned.zip", "r") as zip_ref:
-        zip_ref.extractall(".")
+# ✅ اکسترکت کردن فایل LoRA
+if not os.path.exists(LORA_PATH):
+    with zipfile.ZipFile(LORA_ZIP_PATH, 'r') as zip_ref:
+        zip_ref.extractall(LORA_PATH)
     print("✅ فایل LoRA اکسترکت شد.")
 
-# --- گام ۳: بارگذاری مدل پایه و LoRA
-BASE_MODEL = "PartAI/Dorna-Llama3-8B-Instruct"
-LORA_PATH = "./dorna-diabetes-finetuned"
+# ✅ تغییر نام فایل .safetensors به adapter_model.safetensors
+for filename in os.listdir(LORA_PATH):
+    if filename.endswith(".safetensors") and filename != "adapter_model.safetensors":
+        os.rename(
+            os.path.join(LORA_PATH, filename),
+            os.path.join(LORA_PATH, "adapter_model.safetensors")
+        )
+        print("✅ اسم فایل تغییر کرد.")
+        break
 
-print("🔹 در حال بارگذاری مدل پایه...")
-tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, use_auth_token=hf_token)
-base_model = AutoModelForCausalLM.from_pretrained(
-    BASE_MODEL,
+# 🔹 بارگذاری مدل و توکنایزر
+print("🔹 در حال بارگذاری مدل پایه + LoRA...")
+
+model = AutoPeftModelForCausalLM.from_pretrained(
+    LORA_PATH,
+    torch_dtype=torch.float16,
+    low_cpu_mem_usage=True,
     device_map="auto",
     token=hf_token,
     trust_remote_code=True
 )
 
-print("🔹 در حال بارگذاری LoRA...")
-model = PeftModel.from_pretrained(base_model, LORA_PATH)
-model.eval()
-
-streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
-
-# --- گام ۴: رابط چت با Gradio
-def chat(prompt):
-    input_ids = tokenizer(prompt, return_tensors="pt").input_ids.cuda()
-    with torch.no_grad():
-        output = model.generate(
-            input_ids=input_ids,
-            max_new_tokens=200,
-            temperature=0.7,
-            top_p=0.9,
-            do_sample=True
-        )
-    response = tokenizer.decode(output[0], skip_special_tokens=True)
-    return response[len(prompt):].strip()
-
-iface = gr.Interface(fn=chat, inputs="text", outputs="text", title="💬 Dorna LoRA Model")
+tokenizer = AutoTokenizer.from_pretrained(
+    model.base_model.config._name_or_path,
+    token=hf_token,
+    trust_remote_code=True
+)
 
-iface.launch()
+print("✅ مدل و توکنایزر با موفقیت بارگذاری شدند.")