rinrikatoki commited on
Commit
fa412e4
·
verified ·
1 Parent(s): 59bc69e

Upload app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -4
app.py CHANGED
@@ -31,11 +31,9 @@ print("🔹 در حال بارگذاری مدل پایه...")
31
  tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, use_auth_token=hf_token)
32
  base_model = AutoModelForCausalLM.from_pretrained(
33
  BASE_MODEL,
34
- load_in_4bit=True,
35
- torch_dtype=torch.float16,
36
  device_map="auto",
37
- trust_remote_code=True,
38
- use_auth_token=hf_token
39
  )
40
 
41
  print("🔹 در حال بارگذاری LoRA...")
 
31
  tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, use_auth_token=hf_token)
32
  base_model = AutoModelForCausalLM.from_pretrained(
33
  BASE_MODEL,
 
 
34
  device_map="auto",
35
+ token=HF_TOKEN,
36
+ trust_remote_code=True
37
  )
38
 
39
  print("🔹 در حال بارگذاری LoRA...")