fix runtime error

Dockerfile

@@ -1,17 +1,20 @@
 FROM python:3.10-slim
 
+# Set env vars to avoid permission issues and suppress deprecation warnings
+ENV TRANSFORMERS_CACHE=/app/cache \
+    HF_HOME=/app/cache \
+    PYTHONUNBUFFERED=1
+
 WORKDIR /app
 
+# Install dependencies
 COPY requirements.txt .
-
 RUN pip install --no-cache-dir -r requirements.txt
 
-COPY . .
-
-# Tạo thư mục cache theo chuẩn Hugging Face
-RUN mkdir -p /app/hf_cache && chmod -R 777 /app/hf_cache
+# Copy source code
+COPY app.py .
+RUN mkdir -p /app/cache /app/flagged
 
-# Đặt biến môi trường đúng chuẩn mới
-ENV HF_HOME=/app/hf_cache
+EXPOSE 7860
 
 CMD ["python", "app.py"]

app.py

@@ -1,36 +1,36 @@
-import os
+from transformers import GPT2LMHeadModel, GPT2Tokenizer
+import torch
 import gradio as gr
-from transformers import GPT2Tokenizer, GPT2LMHeadModel
 
 model_id = "NlpHUST/gpt2-vietnamese"
 
+# Load model and tokenizer
 tokenizer = GPT2Tokenizer.from_pretrained(model_id)
 model = GPT2LMHeadModel.from_pretrained(model_id)
 
-def generate(prompt, max_length=100, temperature=0.8):
-    input_ids = tokenizer.encode(prompt, return_tensors="pt")
-    output = model.generate(
-        input_ids,
-        max_length=max_length,
-        do_sample=True,
-        temperature=temperature,
-        top_p=0.95
-    )
-    return tokenizer.decode(output[0], skip_special_tokens=True)
+# Set to eval mode and use GPU if available
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+model.to(device)
+model.eval()
 
+# Inference function
+def generate_text(prompt, max_length=100, temperature=1.0):
+    inputs = tokenizer.encode(prompt, return_tensors="pt").to(device)
+    outputs = model.generate(inputs, max_length=max_length, temperature=temperature, do_sample=True)
+    return tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+# Gradio interface
 demo = gr.Interface(
-    fn=generate,
+    fn=generate_text,
     inputs=[
-        gr.Textbox(label="Nhập nội dung đầu vào"),
-        gr.Slider(50, 200, value=100, step=10, label="Độ dài tối đa"),
-        gr.Slider(0.1, 1.0, value=0.8, step=0.05, label="Temperature")
+        gr.Textbox(label="Nhập văn bản đầu vào", placeholder="Viết gì đó bằng tiếng Việt..."),
+        gr.Slider(20, 300, value=100, step=10, label="Độ dài tối đa"),
+        gr.Slider(0.5, 1.5, value=1.0, step=0.1, label="Nhiệt độ (Temperature)")
     ],
     outputs="text",
-    title="Sinh văn bản tiếng Việt bằng GPT-2",
-    description=(
-        "Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt."
-    ),
-    allow_flagging="never"  # 👈 dòng quan trọng
+    title="Sinh văn bản tiếng Việt",
+    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt.",
+    allow_flagging="never"
 )
 
-demo.launch()
+demo.launch(server_name="0.0.0.0", server_port=7860)

requirements.txt

@@ -1,4 +1,3 @@
-numpy<2.0
+transformers==4.40.0
 torch==2.1.2
-transformers==4.39.3
-gradio==4.44.1
+gradio==4.27.0