본 논문은 제한된 데이터셋(1,514개의 Multi-state Bar Examination (MBE) 문제)을 사용하여 소규모 언어 모델(Llama 2 7B 및 Llama 3 8B)을 미세 조정하여 법률 질문 응답 정확도를 향상시키는 방법을 조사합니다. 2022년 MBE 문제(JD Advising 제공)를 사용하여 모델을 평가하고, Llama 3 (70B)을 이용하여 설명을 구조화된 IRAC 형식으로 변환하여 미세 조정 전후의 성능을 비교합니다. 프롬프트 유형, 답변 순서, 응답 형식, 디코딩 온도 등 여러 변수에 따른 성능을 분석하며, 제한된 자원에도 불구하고 도메인 특정 미세 조정이 인간 수준의 성능에 근접하게 하는 결과를 보여줍니다. 미세 조정된 데이터셋과 MBE 성능에 최적화된 SFT 어댑터를 공개하여 소규모 LLM에서 효과적인 법률 질문 응답에 필요한 자원의 실질적인 하한선을 제시합니다.
