본 논문은 대규모 언어 모델(LLM)의 평가, 특히 비즈니스 시나리오에서의 평가에 초점을 맞추고 있다. 기존의 수동 평가 방식의 비효율성을 해결하기 위해, 사용자 정의 평가 기준을 적용할 수 있는 모델 기반 평가 방법 TALEC을 제안한다. TALEC은 In-context learning(ICL)을 활용하여 판단 모델에게 내부 기준을 학습시키고, zero-shot과 few-shot을 결합하여 더 많은 정보에 집중하도록 한다. 또한, 효과적인 프롬프트 패러다임과 엔지니어링 접근 방식을 제시하여 판단 모델의 정확도를 높였다. 실험 결과, TALEC은 사람의 평가와 80% 이상의 상관관계를 보이며, 특정 작업에서는 사람 간의 상관관계보다 더 높은 성능을 보였다. Fine-tuning 대신 ICL을 사용할 수 있음을 보여주는 결과도 제시한다. 코드는 깃허브에 공개되어 있다.
