본 논문은 대규모 언어 모델(LLM)의 법률 상담 능력 평가 및 향상을 위한 새로운 벤치마크 데이터셋 LeCoDe를 제시한다. LeCoDe는 짧은 비디오 플랫폼에서 실시간으로 진행된 3,696개의 법률 상담 대화 (총 110,008턴)를 포함하며, 법률 전문가에 의한 엄격한 주석이 포함되어 있다. 논문에서는 LLM의 법률 상담 능력을 평가하기 위한 포괄적인 평가 프레임워크를 제안하고, 이를 통해 다양한 LLM을 평가한 결과, 최첨단 모델인 GPT-4조차도 상담 능력에서 상당한 한계를 보임을 밝혔다 (설명 능력 재현율 39.8%, 전반적인 조언 품질 점수 59%). 이러한 결과를 바탕으로 LLM의 법률 상담 능력 향상 전략을 탐구하고, 실제 사용자-전문가 상호작용을 더 잘 시뮬레이션하는 법률 영역 대화 시스템 연구 발전에 기여한다.
