adjust generation time

app.py

@@ -14,12 +14,11 @@ import psutil
 def print_system_resources():
     memory = psutil.virtual_memory()
     cpu_percent = psutil.cpu_percent(interval=1)
-    # Get container memory limit (for Docker)
     try:
         with open('/sys/fs/cgroup/memory/memory.limit_in_bytes', 'r') as f:
-            mem_limit = min(int(f.read().strip()) / 1e9, 16.0)  # Cap at 16GB for HFS free
+            mem_limit = min(int(f.read().strip()) / 1e9, 16.0)
     except:
-        mem_limit = 16.0  # Fallback for HFS free
+        mem_limit = 16.0
     print(f"Total physical memory (psutil): {memory.total/1e9:.2f} GB")
     print(f"Container memory limit: {mem_limit:.2f} GB")
     print(f"CPU usage: {cpu_percent}%")
@@ -65,13 +64,13 @@ def clean_text(text):
     text = re.sub(r'\s+', ' ', text).strip()
     return text
 
-def generate_text(prompt, temperature=0.5, max_new_tokens=30):
+def generate_text(prompt, temperature=0.3, max_new_tokens=35, top_k=15, max_length=40):
     try:
         start_time = time.time()
+        # Debug memory before generation
+        print("Memory before generation:")
         print_system_resources()
         # Fixed parameters
-        max_length = 50
-        top_k = 20
         repetition_penalty = 1.2
         # Log parameters
         print(f"Parameters: max_length={max_length}, temperature={temperature}, max_new_tokens={max_new_tokens}, top_k={top_k}, repetition_penalty={repetition_penalty}")
@@ -103,7 +102,9 @@ def generate_text(prompt, temperature=0.5, max_new_tokens=30):
             pad_token_id=tokenizer.pad_token_id,
             eos_token_id=eos_token_ids
         )
-        print(f"Generation time: {time.time() - gen_time:.2f} seconds")
+        gen_duration = time.time() - gen_time
+        print(f"Generation time: {gen_duration:.2f} seconds")
+        print(f"Tokens per second: {len(outputs[0]) / gen_duration:.2f}")
         generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
         print(f"Raw output: {generated_text}")
         print(f"Generated token count: {len(outputs[0])}")
@@ -113,6 +114,11 @@ def generate_text(prompt, temperature=0.5, max_new_tokens=30):
         print(f"Total time: {elapsed_time:.2f} seconds")
         # Clear memory cache
         gc.collect()
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
+        # Debug memory after generation
+        print("Memory after generation:")
+        print_system_resources()
         return cleaned_text
     except Exception as e:
         return f"Error generating text: {e}"
@@ -126,12 +132,14 @@ demo = gr.Interface(
             placeholder="Viết gì đó bằng tiếng Việt...",
             value="Hôm nay là một ngày đẹp trời"  # Default text
         ),
-        gr.Slider(0.3, 0.7, value=0.5, step=0.1, label="Nhiệt độ (Temperature, 0.3-0.5 cho tốc độ nhanh, 0.6-0.7 cho đa dạng hơn)"),
-        gr.Slider(20, 50, value=30, step=5, label="Số token mới tối đa (max_new_tokens, 20-30 cho tốc độ nhanh, 40-50 cho câu dài hơn)")
+        gr.Slider(0.1, 0.7, value=0.3, step=0.1, label="Nhiệt độ (Temperature, 0.1-0.3 cho tốc độ nhanh và mạch lạc, 0.4-0.7 cho đa dạng hơn)"),
+        gr.Slider(25, 100, value=35, step=5, label="Số token mới tối đa (max_new_tokens, 25-50 cho tốc độ nhanh, 75-100 cho câu dài hơn)"),
+        gr.Slider(5, 30, value=15, step=5, label="Top K (top_k, 5-15 cho văn bản mạch lạc, 20-30 cho đa dạng hơn)"),
+        gr.Slider(30, 100, value=40, step=5, label="Độ dài tối đa (max_length, 30-50 cho tốc độ nhanh, 75-100 cho câu dài hơn)")
     ],
     outputs="text",
     title="Sinh văn bản tiếng Việt",
-    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt. Chọn temperature 0.3-0.5 và max_new_tokens 20-30 để đạt thời gian <2 giây. Dùng temperature 0.6-0.7 và max_new_tokens 40-50 cho câu dài và đa dạng hơn.",
+    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt. Chọn temperature 0.1-0.3, max_new_tokens 25-50, top_k 5-15, và max_length 30-50 để đạt thời gian <2 giây và văn bản mạch lạc. Dùng temperature 0.4-0.7, max_new_tokens 75-100, top_k 20-30, và max_length 75-100 cho câu dài và đa dạng hơn.",
     allow_flagging="never"
 )