Update api.py

api.py

@@ -150,7 +150,7 @@ print("모델 가중치 로드 완료!")
 
 def generate_text_sample(model, prompt, max_len=100, max_gen=98,
                          temperature=0.8, top_k=55, top_p=0.95, min_len=12):
-    model_input = text_to_ids(f"<start> {prompt}")
+    model_input = text_to_ids(f"{prompt}")
     model_input = model_input[:max_len]
     generated = list(model_input)
 
@@ -234,7 +234,7 @@ def respond(input_text):
         return response
 
     # 메모리 관련 부분 싹 제거하고, 단순 프롬프트 생성
-    full_prompt = f"현재 질문:\n{input_text}\n\n<sep>"
+    full_prompt = f"<start> {input_text} <sep>"
 
     for _ in range(3):  # 최대 3번 재시도
         full_response = generate_text_sample(model, full_prompt)