adjust generation time

app.py

@@ -46,7 +46,7 @@ def clean_text(text):
     text = re.sub(r'\s+', ' ', text).strip()  # Normalize spaces
     return text
 
-def generate_text(prompt, max_length=50, temperature=0.7):
+def generate_text(prompt, max_length=50):
     try:
         start_time = time.time()
         print_system_resources()  # Print resources before generation
@@ -63,19 +63,19 @@ def generate_text(prompt, max_length=50, temperature=0.7):
         outputs = model.generate(
             input_ids=inputs["input_ids"],
             attention_mask=inputs["attention_mask"],
-            max_new_tokens=30,
+            max_new_tokens=20,  # Reduce to speed up
             min_length=10,  # Ensure minimum output length
-            temperature=temperature,
             do_sample=False,  # Use greedy decoding for consistency
-            num_beams=3,  # Use beam search for better quality
+            num_beams=1,  # Disable beam search for speed
             no_repeat_ngram_size=2,
             pad_token_id=tokenizer.pad_token_id,
             early_stopping=True
         )
         generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+        print(f"Raw output: {generated_text}")  # Debug raw output
         cleaned_text = clean_text(generated_text)
         elapsed_time = time.time() - start_time
-        print_system_resources()
+        print_system_resources()  # Print resources after generation
         print(f"Generation time: {elapsed_time:.2f} seconds")
         return cleaned_text
     except Exception as e:
@@ -85,9 +85,12 @@ def generate_text(prompt, max_length=50, temperature=0.7):
 demo = gr.Interface(
     fn=generate_text,
     inputs=[
-        gr.Textbox(label="Nhập văn bản đầu vào", placeholder="Viết gì đó bằng tiếng Việt...", value="Hôm nay là một ngày đẹp trời"),
-        gr.Slider(20, 100, value=50, step=10, label="Độ dài tối đa"),
-        gr.Slider(0.5, 1.0, value=0.7, step=0.1, label="Nhiệt độ (Temperature)")
+        gr.Textbox(
+            label="Nhập văn bản đầu vào",
+            placeholder="Viết gì đó bằng tiếng Việt...",
+            value="Hôm nay là một ngày đẹp trời"  # Set default text
+        ),
+        gr.Slider(20, 100, value=50, step=10, label="Độ dài tối đa")
     ],
     outputs="text",
     title="Sinh văn bản tiếng Việt",