KLUE_ROBERTA_LARGE_MRC_KOR

<학습 데이터 구축>

기존 KorQuAD 2.0 학습데이터를 메인으로 활용하였으나 Question 형태가 실제 사람들이 챗봇에 입력하는 질의 형태가 아닌점을 해결하고자, 질의 형태에 대해 CHATGPT를 활용하여 다양화하는 작업을 하였습니다. 뿐만아니라 동일한 답변을 얻을 수 있는 다양한 형태의 질문을 통해 모델의 성능 향상을 시도하였습니다. 추가적으로 AIHUB에 존재하는 여러 기계독해 데이터를 샘플링하여 함께 학습에 활용하였습니다.

###학습 데이터 파일은 비공개입니다.

<모델 성능>

model_name	KorQuAD 2.0		KorQuAD 1.0		KLUE-MRC		AIHUB(법률금융)
	em	f1	em	f1	em	f1	em	f1
자체 모델(klue_roberta_large_mrc_kor)	33.55	64.43	30.5	84.7	7.6	21	29.9	87.9
timpal0l/mdeberta-v3-base-squad2	15.89	47.68	19	78.3	3.7	15.97	10.5	60.2
Dongjae/mrc2reader	17.78	55.59	20.59	83.7	4.82	19	15.4	81.3
bespin-global/klue-bert-base-aihub-mrc	1.97	12.05	12.8	49.08			3.7	24.6
ainize/klue-bert-base-mrc	6.02	19.4	26.2	75.81

모델 성능 평가를 위해 KorQuAD 2.0, KorQuAD 1.0, KLUE 벤치마크 MRC, AIHUB 법률 금융 분야 기계독해 등 총 4가지의 평가셋을 활용하여 평가하였습니다.
현재 허깅페이스 모델 한국어 기계독해 모델 중 다운로드 수가 가장 많은 timpal0l/mdeberta-v3-base-squad2 과 비교해도 더 나은 성능을 확인하였습니다.

<학습> 모델 학습은 A6000 * 2 모델에서 대략 48시간 이상 소요되었습니다. 해당 모델은 자연어처리 전문 기업인 주식회사 아일리스프런티어의 컴퓨팅 자원을 활용하여 학습었습니다.

모델 사용 예시 (Inference Example)

아래 코드는 klue_roberta_large_mrc_kor 모델을 활용하여 질문에 대한 답변을 추론하는 예시입니다.
transformers 라이브러리의 pipeline을 활용합니다.

from transformers import pipeline

model_name = "cocoirun/klue_roberta_large_mrc_kor"

# 모델과 토크나이저 로드
qa_pipeline = pipeline(
    "question-answering",
    model=model_name,  
    tokenizer=model_name,
  max_seq_len=512,
  doc_stride=64,
  max_answer_len=256,
)

# 예시 질문과 문서
question = "카카오뱅크는 어떤 은행인가요?"
context = """
카카오뱅크는 대한민국의 인터넷 전문은행으로, 모바일 앱 기반의 비대면 금융 서비스를 제공합니다.
간편한 계좌 개설, 송금, 대출 등의 서비스를 제공하며, 젊은 층을 중심으로 큰 인기를 얻고 있습니다.
"""

# 추론
result = qa_pipeline(question=question, context=context)

# 결과 출력
print(f"Answer: {result['answer']}")


** 해당 모델은 상업적으로 사용은 금지되며, 필요 시에 신청 및 메일을 보내주시면 확인 후 승인드리겠습니다.
e-mail: ih.kim@aift.kr