Spaces:
Runtime error
Runtime error
Upload app.py
Browse files
app.py
CHANGED
@@ -31,11 +31,9 @@ print("🔹 در حال بارگذاری مدل پایه...")
|
|
31 |
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, use_auth_token=hf_token)
|
32 |
base_model = AutoModelForCausalLM.from_pretrained(
|
33 |
BASE_MODEL,
|
34 |
-
load_in_4bit=True,
|
35 |
-
torch_dtype=torch.float16,
|
36 |
device_map="auto",
|
37 |
-
|
38 |
-
|
39 |
)
|
40 |
|
41 |
print("🔹 در حال بارگذاری LoRA...")
|
|
|
31 |
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, use_auth_token=hf_token)
|
32 |
base_model = AutoModelForCausalLM.from_pretrained(
|
33 |
BASE_MODEL,
|
|
|
|
|
34 |
device_map="auto",
|
35 |
+
token=HF_TOKEN,
|
36 |
+
trust_remote_code=True
|
37 |
)
|
38 |
|
39 |
print("🔹 در حال بارگذاری LoRA...")
|