adjust generation time

app.py

@@ -60,26 +60,17 @@ print(f"Memory allocated: {torch.cuda.memory_allocated(device)/1e9:.2f} GB" if t
 print_system_resources()
 
 def clean_text(text):
-    """Clean generated text by removing non-alphabetic characters and incomplete sentences."""
+    """Clean generated text by removing non-alphabetic characters and normalizing spaces."""
     text = re.sub(r'[^\w\s.,!?àáâãèéêìíòóôõùúýăđĩũơưạảấầẩẫậắằẳẵặẹẻẽếềểễệỉịọỏốồổỗộớờởỡợụủứừửữựỳỵỷỹ]', '', text)
     text = re.sub(r'\s+', ' ', text).strip()
-    # Keep only complete sentences (ending with .!?)
-    sentences = re.split(r'(?<=[.!?])\s+', text)
-    complete_sentences = [s for s in sentences if re.search(r'[.!?]$', s)]
-    if complete_sentences:
-        return ' '.join(complete_sentences)
-    # Fallback: Cut at last comma if present
-    last_comma = text.rfind(',')
-    if last_comma != -1:
-        return text[:last_comma].strip()
-    # Fallback: Cut at last valid word
-    words = text.split()
-    return ' '.join(words[:-1]) if len(words) > 1 else text
+    return text
 
-def generate_text(prompt, max_length=30, temperature=1.0):
+def generate_text(prompt, max_length=30, temperature=1.0, max_new_tokens=8, top_k=15):
     try:
         start_time = time.time()
         print_system_resources()
+        # Log parameters
+        print(f"Parameters: max_length={max_length}, temperature={temperature}, max_new_tokens={max_new_tokens}, top_k={top_k}")
         # Encode input with attention mask
         inputs = tokenizer(
             prompt,
@@ -94,10 +85,10 @@ def generate_text(prompt, max_length=30, temperature=1.0):
         outputs = model.generate(
             input_ids=inputs["input_ids"],
             attention_mask=inputs["attention_mask"],
-            max_new_tokens=8,  # Reduce for speed
+            max_new_tokens=int(max_new_tokens),
             min_length=3,
             do_sample=True,
-            top_k=15,  # Reduce for speed
+            top_k=int(top_k),
             temperature=temperature,
             pad_token_id=tokenizer.pad_token_id
         )
@@ -105,6 +96,7 @@ def generate_text(prompt, max_length=30, temperature=1.0):
         print(f"Raw output: {generated_text}")
         print(f"Generated token count: {len(outputs[0])}")
         cleaned_text = clean_text(generated_text)
+        print(f"Cleaned output: {cleaned_text}")
         elapsed_time = time.time() - start_time
         print(f"Generation time: {elapsed_time:.2f} seconds")
         # Clear memory cache
@@ -122,12 +114,14 @@ demo = gr.Interface(
             placeholder="Viết gì đó bằng tiếng Việt...",
             value="Hôm nay là một ngày đẹp trời"  # Default text
         ),
-        gr.Slider(20, 100, value=30, step=10, label="Độ dài tối đa"),
-        gr.Slider(0.7, 1.0, value=1.0, step=0.1, label="Nhiệt độ (Temperature)")
+        gr.Slider(20, 100, value=30, step=10, label="Độ dài tối đa (max_length)"),
+        gr.Slider(0.7, 1.5, value=1.0, step=0.1, label="Nhiệt độ (Temperature)"),
+        gr.Slider(1, 20, value=8, step=1, label="Số token mới tối đa (max_new_tokens)"),
+        gr.Slider(5, 50, value=15, step=5, label="Top K (top_k)")
     ],
     outputs="text",
     title="Sinh văn bản tiếng Việt",
-    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt.",
+    description="Dùng mô hình GPT-2 Vietnamese từ NlpHUST để sinh văn bản tiếng Việt. Điều chỉnh các tham số để tối ưu thời gian và chất lượng đầu ra.",
     allow_flagging="never"
 )