Update app.py

app.py

@@ -14,9 +14,9 @@ model.eval()
 prompt =("川柳：朝寝坊 言い訳考え また寝なおす 川柳：財布見る まるで冷蔵庫 空っぽだ 川柳：ダイエット 明日からって 五年目だ 川柳：マスク取る 顔が誰だか わからない 川柳：ため息が わいふぁいよりも よく飛ぶよ 川柳：")
 inputs = tokenizer(prompt,return_tensors="pt")
 prompt_len = inputs["input_ids"].shape[-1]  # プロンプトのトークン数！
+device = "cuda" if torch.cuda.is_available() else "cpu"
+inputs ={k:v.to(device) for k,v in inputs.items()}
 def haiku_generate():
-    if not torch.cuda.is_available():
-        inputs ={k:v.to("cpu") for k,v in inputs.items()}
     with torch.no_grad():
         outputs = model.generate(
             **inputs,