Tomtom84 commited on
Commit
0e68421
·
verified ·
1 Parent(s): e3958ab

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -1
app.py CHANGED
@@ -124,7 +124,7 @@ async def tts(ws: WebSocket):
124
  offset_len += len(new)
125
 
126
  # ----- weiter mit Cache (letzte PKV steht im Modell) ---------
127
- past = model._past_key_values
128
  last_tok = new[-1]
129
 
130
  print("new tokens:", new[:25], flush=True)
 
124
  offset_len += len(new)
125
 
126
  # ----- weiter mit Cache (letzte PKV steht im Modell) ---------
127
+ past = gen._past_key_values
128
  last_tok = new[-1]
129
 
130
  print("new tokens:", new[:25], flush=True)