본 논문은 대규모 언어 모델(LLM)을 법적 추론에 적용하기 위한 연구의 일환으로, 실제 법원 판례를 기반으로 한 중국어 다단계 법적 추론 데이터셋 MSLR을 소개합니다. MSLR은 IRAC 프레임워크(Issue, Rule, Application, Conclusion)를 사용하여 공식 법률 문서의 구조화된 전문가 추론을 모델링합니다. 또한, 세분화된 단계별 추론 주석을 효율적으로 생성하고 다단계 추론 데이터셋을 위한 재사용 가능한 방법론적 프레임워크를 제공하는 확장 가능한 Human-LLM 협업 주석 파이프라인을 설계했습니다. MSLR에서 여러 LLM의 평가 결과는 보통 수준의 성능을 보였으며, 복잡한 법적 추론에 적응하는 데 어려움이 있음을 강조합니다. 모델이 자율적으로 생성한 Self-Initiated Chain-of-Thought 프롬프트가 인간이 설계한 프롬프트보다 추론의 일관성과 질을 향상시키는 것을 실험을 통해 확인했습니다.
