adjust generation time

app.py

@@ -60,7 +60,7 @@ def clean_text(text):
     text = re.sub(r'\s+', ' ', text).strip()
     return text
 
-def generate_text(prompt, temperature=0.7, max_new_tokens=50, min_length=50, max_length=100):
+def generate_text(prompt, temperature=0.9, max_new_tokens=30, min_length=20, max_length=100):
     try:
         start_time = time.time()
         # Start tracemalloc for memory debugging
@@ -70,7 +70,7 @@ def generate_text(prompt, temperature=0.7, max_new_tokens=50, min_length=50, max
         print_system_resources()
         # Fixed parameters
         top_k = 20
-        repetition_penalty = 1.5
+        repetition_penalty = 2.0
         top_p = 0.9
         # Log parameters
         print(f"Parameters: max_length={max_length}, temperature={temperature}, max_new_tokens={max_new_tokens}, top_k={top_k}, top_p={top_p}, repetition_penalty={repetition_penalty}, min_length={min_length}")
@@ -88,21 +88,22 @@ def generate_text(prompt, temperature=0.7, max_new_tokens=50, min_length=50, max
         # Define EOS token IDs for '.', '!', '?'
         eos_token_ids = [tokenizer.encode(s)[0] for s in ['.', '!', '?']]
         print(f"EOS token IDs: {eos_token_ids}")
-        # Generate text
+        # Generate text with no_grad
         gen_time = time.time()
-        outputs = model.generate(
-            input_ids=inputs["input_ids"],
-            attention_mask=inputs["attention_mask"],
-            max_new_tokens=int(max_new_tokens),
-            min_length=int(min_length),
-            do_sample=True,
-            top_k=top_k,
-            top_p=top_p,
-            temperature=temperature,
-            repetition_penalty=repetition_penalty,
-            pad_token_id=tokenizer.pad_token_id,
-            eos_token_id=eos_token_ids
-        )
+        with torch.no_grad():
+            outputs = model.generate(
+                input_ids=inputs["input_ids"],
+                attention_mask=inputs["attention_mask"],
+                max_new_tokens=int(max_new_tokens),
+                min_length=int(min_length),
+                do_sample=True,
+                top_k=top_k,
+                top_p=top_p,
+                temperature=temperature,
+                repetition_penalty=repetition_penalty,
+                pad_token_id=tokenizer.pad_token_id,
+                eos_token_id=eos_token_ids
+            )
         gen_duration = time.time() - gen_time
         print(f"Generation time: {gen_duration:.2f} seconds")
         print(f"Tokens per second: {len(outputs[0]) / gen_duration:.2f}")
@@ -142,16 +143,16 @@ demo = gr.Interface(
         gr.Textbox(
             label="Nhập văn bản đầu vào",
             placeholder="Viết gì đó bằng tiếng Việt...",
-            value="Hôm nay là một ngày đẹp trời, hãy kể một câu chuyện dài về một trải nghiệm đáng nhớ của bạn, bao gồm chi tiết về bối cảnh, nhân vật, và cảm xúc."
+            value="Hôm nay là một ngày đẹp trời, hãy kể một câu chuyện dài về một chuyến đi đáng nhớ, mô tả chi tiết nơi bạn đến, người bạn gặp, và cảm xúc của bạn."
         ),
-        gr.Slider(0.1, 1.5, value=0.7, step=0.1, label="Nhiệt độ (Temperature, 0.1-0.3 cho mạch lạc, 0.7-1.5 cho sáng tạo và câu dài)"),
-        gr.Slider(25, 100, value=50, step=5, label="Số token mới tối đa (max_new_tokens, 25-50 cho câu ngắn, 75-100 cho câu dài)"),
-        gr.Slider(30, 100, value=50, step=5, label="Độ dài tối thiểu (min_length, 30-50 cho câu vừa, 75-100 cho câu dài)"),
+        gr.Slider(0.1, 1.5, value=0.9, step=0.1, label="Nhiệt độ (Temperature, 0.1-0.3 cho mạch lạc, 0.7-1.2 cho sáng tạo và câu dài)"),
+        gr.Slider(25, 100, value=30, step=5, label="Số token mới tối đa (max_new_tokens, 25-50 cho câu ngắn, 75-100 cho câu dài)"),
+        gr.Slider(20, 100, value=20, step=5, label="Độ dài tối thiểu (min_length, 20-50 cho câu vừa, 75-100 cho câu dài)"),
         gr.Slider(50, 150, value=100, step=5, label="Độ dài tối đa (max_length, 50-100 cho câu ngắn, 100-150 cho câu dài)")
     ],
     outputs="text",
     title="Sinh văn bản tiếng Việt",
-    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt. Chọn temperature 0.7, max_new_tokens 50, min_length 50, và max_length 100 để tạo câu dài, mạch lạc, và hoàn chỉnh. Dùng temperature 0.1-0.3, max_new_tokens 25-50, min_length 30-50 cho câu ngắn và nhanh. Lưu ý: Dùng prompt chi tiết (bối cảnh, nhân vật, cảm xúc) để cải thiện chất lượng câu chuyện dài. Tránh max_new_tokens=100 với temperature=0.3 để giảm lặp từ. Top_k mặc định là 20.",
+    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt. Chọn temperature 0.7-1.2, max_new_tokens 30-50, min_length 20-50, và max_length 100 để tạo câu dài, mạch lạc, và hoàn chỉnh. Dùng temperature 0.1-0.3, max_new_tokens 25-30, min_length 20-30 cho câu ngắn và nhanh. Lưu ý: Tránh temperature=0.1 (dễ lặp ý) và max_new_tokens=100 (chậm, dễ cắt cụt). Dùng prompt chi tiết (bối cảnh, nhân vật, cảm xúc) để cải thiện chất lượng. Top_k mặc định là 20.",
     allow_flagging="never"
 )