rev app

app.py

@@ -70,7 +70,7 @@ else:
 #         traceback.print_exc()  # เพิ่มการแสดง stack trace
 #         return False
 
-@spaces.GPU
+###@spaces.GPU
 def load_model():
     global model, tokenizer
     print("กำลังโหลดโมเดล...")
@@ -81,7 +81,8 @@ def load_model():
         print("กำลังโหลด tokenizer...")
         base_model, _tokenizer = FastVisionModel.from_pretrained(
             "unsloth/Llama-3.2-11B-Vision-Instruct",
-            use_gradient_checkpointing = "unsloth"
+            use_gradient_checkpointing = "unsloth",
+            device_map="auto"  ### เพิ่มตรงนี้
         )
         
         tokenizer = _tokenizer  # กำหนดค่าให้ตัวแปร global โดยตรง
@@ -96,7 +97,8 @@ def load_model():
         print("กำลังโหลดโมเดล fine-tuned...")
         model = AutoModelForVision2Seq.from_pretrained(
             "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
-            load_in_4bit=True,
+            device_map="auto",  ### เพิ่มตรงนี้
+            ###load_in_4bit=True,
             torch_dtype=torch.float16
         ).to('cuda')