Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Rate, Explain and Cite (REC): Enhanced Explanation and Attribution in Automatic Evaluation by Large Language Models

Created by
  • Haebom

저자

Aliyah R. Hsu, James Zhu, Zhichao Wang, Bin Bi, Shubham Mehrotra, Shiva K. Pentyala, Katherine Tan, Xiang-Bo Mao, Roshanak Omrani, Sougata Chaudhuri, Regunathan Radhakrishnan, Sitaram Asur, Claire Na Cheng, Bin Yu

개요

본 논문은 대규모 언어 모델(LLM)이 생성한 텍스트의 품질 평가를 위한 세 가지의 미세 조정된 범용 LLM 자동 평가기(REC-8B, REC-12B, REC-70B)를 제시합니다. 이 모델들은 생성된 텍스트의 정확성, 지시사항 준수, 일관성, 완전성 등 여러 측면을 평가하고, 평가 점수뿐 아니라 상세한 설명과 검증 가능한 인용 정보를 제공하여 신뢰성을 높입니다. 다양한 인용 방식을 지원하며, 특히 REC-70B는 기존 최첨단 LLM들을 능가하는 성능을 보이며, 높은 품질의 설명과 인용을 최소한의 편향으로 제공합니다. 모델과 데이터셋은 GitHub에서 공개됩니다.

시사점, 한계점

시사점:
LLM 생성 텍스트의 품질 평가를 위한 새로운 기준 제시
정확성, 설명, 인용 정보 제공으로 신뢰도 향상
다양한 인용 방식 지원으로 활용성 증대
REC-70B는 기존 최고 성능 모델보다 우수한 평가 성능
오픈소스 공개를 통한 연구 및 개발 활성화
한계점:
본 논문에서는 특정 벤치마크에 대한 평가 결과만 제시되었으며, 다른 유형의 데이터셋에 대한 일반화 성능은 추가 연구가 필요함.
모델의 편향성을 최소화하였지만, 완전히 제거하지는 못했을 가능성 존재.
대규모 모델의 연산 비용 및 자원 소모에 대한 고려 필요.
👍