Update app.py

app.py

@@ -41,10 +41,12 @@ async def load_models():
         REPO,
         device_map={"": 0} if device=="cuda" else None,
         torch_dtype=torch.bfloat16 if device=="cuda" else None,
-        low_cpu_mem_usage=True,
-        return_legacy_cache=True  # für compatibility mit past_key_values als Tuple
+        low_cpu_mem_usage=True
+        #return_legacy_cache=True  # für compatibility mit past_key_values als Tuple
     ).to(device)
     model.config.pad_token_id = model.config.eos_token_id
+    # optional, aber explizit:
+    model.config.use_cache = True
 
     # --- Logit‑Masking vorbereiten ---
     # reine Audio‑Tokens laufen von 128266 bis 128266+4096-1