본 논문은 대규모 언어 모델(LLM)의 객관식 질문(MCQ) 답변 시 선택 편향 문제를 해결하기 위해, 선택 편향을 측정하고 완화하는 새로운 방법론을 제시한다. 기존의 방법론의 한계점을 극복하기 위해, 예측의 일관성을 측정하는 새로운 무감독 편향 측정 지표(PBM)를 제안하고, 계산 효율성을 높인 다수결 투표 방식(BaQCKV)과, 제안된 지표와 방법을 기반으로 하는 무감독 LoRA 기반 미세 조정 전략(LoRA-1)을 제시한다. 여러 MCQ 벤치마크에서 제안하는 방법론들이 편향을 줄이고 정확성을 높이는 것을 실험적으로 입증했다.
시사점, 한계점
•
시사점:
◦
LLM의 MCQ 평가에서 발생하는 선택 편향 문제를 해결하기 위한 새로운 측정 지표(PBM) 제시.
◦
계산 효율성을 높인 다수결 투표 방식(BaQCKV) 제안.
◦
무감독 LoRA 기반 미세 조정 전략(LoRA-1)을 통해 선택 편향 완화 및 모델 일반화 성능 유지.
