adjust generation time

app.py

@@ -24,6 +24,7 @@ def print_system_resources():
     print(f"CPU usage: {cpu_percent}%")
     print(f"Memory usage: {min(memory.used / (mem_limit * 1e9) * 100, 100):.1f}% ({memory.used/1e9:.2f}/{mem_limit:.2f} GB)")
     print(f"Active processes: {len(psutil.pids())}")
+    print(f"Python memory (torch): {torch.cuda.memory_allocated()/1e9:.2f} GB" if torch.cuda.is_available() else "CPU only")
 
 # Print Gradio version for debugging
 print(f"Gradio version: {gr.__version__}")
@@ -47,12 +48,6 @@ device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 model.to(device)
 model.eval()
 
-# Apply quantization to reduce memory and speed up
-model = torch.quantization.quantize_dynamic(
-    model, {torch.nn.Linear}, dtype=torch.qint8
-)
-print(f"Model quantized: {model.__class__.__name__}")
-
 # Print device and memory info for debugging
 print(f"Device: {device}")
 print(f"Memory allocated: {torch.cuda.memory_allocated(device)/1e9:.2f} GB" if torch.cuda.is_available() else "CPU only")
@@ -64,16 +59,18 @@ def clean_text(text):
     text = re.sub(r'\s+', ' ', text).strip()
     return text
 
-def generate_text(prompt, temperature=0.3, max_new_tokens=35, top_k=15, max_length=40):
+def generate_text(prompt, temperature=0.9, max_new_tokens=100, top_k=30, max_length=100):
     try:
         start_time = time.time()
         # Debug memory before generation
         print("Memory before generation:")
         print_system_resources()
         # Fixed parameters
-        repetition_penalty = 1.2
+        repetition_penalty = 1.0
+        top_p = 0.9
+        min_length = 50  # Force longer output
         # Log parameters
-        print(f"Parameters: max_length={max_length}, temperature={temperature}, max_new_tokens={max_new_tokens}, top_k={top_k}, repetition_penalty={repetition_penalty}")
+        print(f"Parameters: max_length={max_length}, temperature={temperature}, max_new_tokens={max_new_tokens}, top_k={top_k}, top_p={top_p}, repetition_penalty={repetition_penalty}, min_length={min_length}")
         # Encode input with attention mask
         encode_time = time.time()
         inputs = tokenizer(
@@ -85,8 +82,8 @@ def generate_text(prompt, temperature=0.3, max_new_tokens=35, top_k=15, max_leng
         ).to(device)
         print(f"Encoding time: {time.time() - encode_time:.2f} seconds")
         print(f"Input tokens: {len(inputs['input_ids'][0])}")
-        # Define EOS token IDs for '.', '!', '?'
-        eos_token_ids = [tokenizer.encode(s)[0] for s in ['.', '!', '?']]
+        # Avoid stopping at '.', '!', '?' to allow longer text
+        eos_token_ids = []  # Disable EOS tokens
         print(f"EOS token IDs: {eos_token_ids}")
         # Generate text
         gen_time = time.time()
@@ -94,13 +91,14 @@ def generate_text(prompt, temperature=0.3, max_new_tokens=35, top_k=15, max_leng
             input_ids=inputs["input_ids"],
             attention_mask=inputs["attention_mask"],
             max_new_tokens=int(max_new_tokens),
-            min_length=3,
+            min_length=min_length,
             do_sample=True,
             top_k=int(top_k),
+            top_p=top_p,
             temperature=temperature,
             repetition_penalty=repetition_penalty,
             pad_token_id=tokenizer.pad_token_id,
-            eos_token_id=eos_token_ids
+            eos_token_id=eos_token_ids if eos_token_ids else None
         )
         gen_duration = time.time() - gen_time
         print(f"Generation time: {gen_duration:.2f} seconds")
@@ -130,16 +128,16 @@ demo = gr.Interface(
         gr.Textbox(
             label="Nhập văn bản đầu vào",
             placeholder="Viết gì đó bằng tiếng Việt...",
-            value="Hôm nay là một ngày đẹp trời"  # Default text
+            value="Hôm nay là một ngày đẹp trời, hãy kể một câu chuyện dài về trải nghiệm của bạn."  # Updated prompt
         ),
-        gr.Slider(0.1, 0.7, value=0.3, step=0.1, label="Nhiệt độ (Temperature, 0.1-0.3 cho tốc độ nhanh và mạch lạc, 0.4-0.7 cho đa dạng hơn)"),
-        gr.Slider(25, 100, value=35, step=5, label="Số token mới tối đa (max_new_tokens, 25-50 cho tốc độ nhanh, 75-100 cho câu dài hơn)"),
-        gr.Slider(5, 30, value=15, step=5, label="Top K (top_k, 5-15 cho văn bản mạch lạc, 20-30 cho đa dạng hơn)"),
-        gr.Slider(30, 100, value=40, step=5, label="Độ dài tối đa (max_length, 30-50 cho tốc độ nhanh, 75-100 cho câu dài hơn)")
+        gr.Slider(0.1, 0.9, value=0.9, step=0.1, label="Nhiệt độ (Temperature, 0.1-0.3 cho mạch lạc, 0.7-0.9 cho câu dài và sáng tạo)"),
+        gr.Slider(25, 100, value=100, step=5, label="Số token mới tối đa (max_new_tokens, 25-50 cho câu ngắn, 75-100 cho câu dài)"),
+        gr.Slider(5, 30, value=30, step=5, label="Top K (top_k, 5-10 cho mạch lạc, 20-30 cho đa dạng và dài hơn)"),
+        gr.Slider(30, 100, value=100, step=5, label="Độ dài tối đa (max_length, 30-50 cho câu ngắn, 75-100 cho câu dài)")
     ],
     outputs="text",
     title="Sinh văn bản tiếng Việt",
-    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt. Chọn temperature 0.1-0.3, max_new_tokens 25-50, top_k 5-15, và max_length 30-50 để đạt thời gian <2 giây và văn bản mạch lạc. Dùng temperature 0.4-0.7, max_new_tokens 75-100, top_k 20-30, và max_length 75-100 cho câu dài và đa dạng hơn.",
+    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt. Chọn temperature 0.7-0.9, max_new_tokens 75-100, top_k 20-30, và max_length 75-100 để tạo câu dài và đa dạng. Dùng temperature 0.1-0.3, max_new_tokens 25-50, top_k 5-10, và max_length 30-50 để đạt thời gian <2 giây và văn bản mạch lạc. Lưu ý: Để tạo câu dài, dùng prompt yêu cầu câu chuyện hoặc mô tả chi tiết, và thử temperature=0.9, top_k=30, min_length=50.",
     allow_flagging="never"
 )