본 논문은 대규모 언어 모델(LLM)의 법률적 주장 생성 능력을 자동화된 파이프라인을 통해 평가하는 방법을 제시한다. 특히, 환각(hallucination), 요소 활용(factor utilization), 적절한 자제(abstention) 세 가지 측면에 초점을 맞춰, 세 가지 난이도의 테스트(표준 3단 논증 생성, 선례 역할 바꾸기, 공통 요소 부재 시 주장 생성 거부)를 통해 8개의 LLM을 평가했다. 자동화된 평가는 생성된 주장에서 요소를 추출하는 외부 LLM을 이용하여 진실값과 비교하는 방식으로 이루어졌다. 결과적으로, LLM은 유효한 주장 생성 테스트에서는 높은 정확도(90% 이상)를 보였으나, 관련 요소를 모두 활용하지 못했고, 특히 주장 생성이 불가능한 경우 자제하는 데 어려움을 보였다. 본 연구는 LLM의 법률 분야 적용을 위해 요소 활용 및 자제 능력 향상이 필요함을 시사한다.
