fix runtime error

Dockerfile

@@ -1,11 +1,22 @@
 FROM python:3.10-slim
 
+# Cài đặt các thư viện hệ thống cần thiết
+RUN apt-get update && apt-get install -y \
+    git \
+    && rm -rf /var/lib/apt/lists/*
+
+# Tạo thư mục làm việc
 WORKDIR /app
 
+# Copy mã nguồn và cài đặt requirements
 COPY requirements.txt .
 RUN pip install --no-cache-dir -r requirements.txt
 
-COPY app.py .
+COPY . .
+
+# Tạo thư mục cache có quyền ghi
+RUN mkdir -p /tmp/hf-cache && chmod -R 777 /tmp/hf-cache
+ENV TRANSFORMERS_CACHE=/tmp/hf-cache
 
-# Expose port 7860 (Spaces yêu cầu)
-CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]
+# Chạy server FastAPI
+CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"]

app.py

@@ -1,25 +1,26 @@
 import os
-from fastapi import FastAPI
+from fastapi import FastAPI, Request
 from pydantic import BaseModel
 from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+import torch
 
-# Fix lỗi ghi cache
-os.environ["TRANSFORMERS_CACHE"] = "/tmp/hf_cache"
+# Đặt thư mục cache có quyền ghi
+os.makedirs("/tmp/hf-cache", exist_ok=True)
+os.environ["TRANSFORMERS_CACHE"] = "/tmp/hf-cache"
 
-# Load model
-model_name = "bmd1905/BARTpho2-ViT5-question-answering"  # model này public
+# Sử dụng model công khai
+model_name = "VietAI/vit5-base"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
 
-# FastAPI app
 app = FastAPI()
 
-class InputText(BaseModel):
-    text: str
+class InputData(BaseModel):
+    input: str
 
-@app.post("/generate")
-def generate_text(item: InputText):
-    inputs = tokenizer(item.text, return_tensors="pt", truncation=True, max_length=512)
-    outputs = model.generate(**inputs, max_new_tokens=128)
-    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    return {"answer": response}
+@app.post("/predict")
+async def predict(request: Request, data: InputData):
+    input_ids = tokenizer.encode(data.input, return_tensors="pt", max_length=512, truncation=True)
+    output_ids = model.generate(input_ids, max_length=128, num_beams=4, early_stopping=True)
+    output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
+    return {"output": output}