Update app.py

app.py

@@ -11,10 +11,10 @@ model = AutoModelForCausalLM.from_pretrained(
     trust_remote_code=True
 )
 model.eval()
+inputs = tokenizer(prompt,return_tensors="pt")
+prompt_len = inputs["input_ids"].shape[-1]  # プロンプトのトークン数！
 prompt =("川柳：朝寝坊 言い訳考え また寝なおす 川柳：財布見る まるで冷蔵庫 空っぽだ 川柳：ダイエット 明日からって 五年目だ 川柳：マスク取る 顔が誰だか わからない 川柳：ため息が わいふぁいよりも よく飛ぶよ 川柳：")
 def haiku_generate():
-    inputs = tokenizer(prompt,return_tensors="pt")
-    prompt_len = inputs["input_ids"].shape[-1]  # プロンプトのトークン数！
     if not torch.cuda.is_available():
         inputs ={k:v.to("cpu") for k,v in inputs.items()}
     with torch.no_grad():