Update api.py

api.py

@@ -150,33 +150,35 @@ from sklearn.metrics.pairwise import cosine_similarity
 from fastapi import Request
 from fastapi.responses import PlainTextResponse
 
-def is_greedy_response_acceptable(text):
-    text = text.strip()
-
-    # 너무 짧은 문장 거르기
-    if len(text) < 5:
-        return False
-
-    # 단어 수 너무 적은 것도 거름
-    if len(text.split()) < 3:
-        return False
-
-    # ㅋㅋㅋ 같은 자모 연속만 있으면 거름 (단, 'ㅋㅋ' 포함되면 허용)
-    if re.search(r'[ㄱ-ㅎㅏ-ㅣ]{3,}', text) and 'ㅋㅋ' not in text:
-        return False
-
-    # 문장 끝이 어색한 경우 (다/요/죠 등 일반적 형태로 끝나지 않으면 거름)
-    if not re.search(r'(다|요|죠|다\.|요\.|죠\.|다!|요!|죠!|\!|\?|\.)$', text):
-        return False
-
+  
+def is_greedy_response_acceptable(text):  
+    text = text.strip()  
+  
+    # 너무 짧은 문장 거르기  
+    if len(text) < 5:  
+        return False  
+  
+    # 단어 수 너무 적은 것도 거름  
+    if len(text.split()) < 3:  
+        return False  
+  
+    # ㅋㅋㅋ 같은 자모 연속만 있으면 거름 (단, 'ㅋㅋ' 포함되면 허용)  
+    if re.search(r'[ㄱ-ㅎㅏ-ㅣ]{3,}', text) and 'ㅋㅋ' not in text:  
+        return False  
+  
+    # 문장 끝이 어색한 경우 (다/요/죠 등 일반적 형태로 끝나지 않으면 거름)  
+    if not re.search(r'(다|요|죠|다\.|요\.|죠\.|다!|요!|죠!|\!|\?|\.)$', text):  
+        return False  
+  
     return True
 
-def generate_text_with_temp_and_rep_penalty(model, prompt, max_len=100, max_gen=98,
-                                            repetition_penalty=1.2, temperature=0.7,
-                                            min_len=20):
+def generate_text_with_mirostat(model, prompt, max_len=100, max_gen=98,
+                                repetition_penalty=1.2, tau_init=5.0, mu=5.0,
+                                eta=0.1, min_len=20):
     model_input = text_to_ids(f"<start> {prompt} <sep>")
     model_input = model_input[:max_len]
     generated = list(model_input)
+    tau = tau_init
 
     for _ in range(max_gen):
         pad_len = max(0, max_len - len(generated))
@@ -190,22 +192,24 @@ def generate_text_with_temp_and_rep_penalty(model, prompt, max_len=100, max_gen=
             count = generated.count(t)
             next_logits[t] /= (repetition_penalty ** count)
 
-        # Temperature scaling
-        next_logits = next_logits / temperature
-
-        # Softmax로 확률 계산
-        exp_logits = np.exp(next_logits - np.max(next_logits))
+        # Mirostat: softmax with current τ
+        scaled_logits = next_logits / tau
+        exp_logits = np.exp(scaled_logits - np.max(scaled_logits))
         probs = exp_logits / exp_logits.sum()
 
-        # 다음 토큰 샘플링
+        # 샘플링
         next_token = np.random.choice(len(probs), p=probs)
         generated.append(int(next_token))
 
-        decoded = sp.decode(generated)
-        for t in ["<start>", "<sep>", "<end>"]:
-            decoded = decoded.replace(t, "")
-        decoded = decoded.strip()
+        # 정보량 계산 (r = -log(p(x)))
+        prob = probs[next_token]
+        r = -np.log(prob + 1e-10)
+
+        # τ 업데이트
+        tau = tau - eta * (r - mu)
 
+        # 디코딩 및 조건 검증
+        decoded = sp.decode(generated).replace("<start>", "").replace("<sep>", "").replace("<end>", "").strip()
         if len(generated) >= min_len and (next_token == end_id or decoded.endswith(('요', '다', '.', '!', '?'))):
             if is_greedy_response_acceptable(decoded):
                 return decoded