Adaptively evaluating models with task elicitation
Created by
- Haebom
Category
Empty
저자
Davis Brown, Prithvi Balehannina, Helen Jin, Shreya Havaldar, Hamed Hassani, Eric Wong
개요
본 논문은 대규모 언어 모델(LLM)의 평가를 위한 확장 가능한 프레임워크인 "적응형 평가(Adaptive Evaluations)"를 제시한다. 이 프레임워크는 스캐폴딩된 언어 모델(평가자 에이전트)을 사용하여 대상 모델의 동작을 도메인 데이터셋에서 탐색하고, 모델의 실패 모드를 발견하고 조사할 수 있는 어려운 질문(과제)을 생성한다. 연구진은 다양한 데이터셋과 과제(법적 추론, 예측, 온라인 괴롭힘 등)에서 적응형으로 탐색했을 때 최첨단 모델들이 일관성이 부족하다는 것을 발견했다. 생성된 질문은 사람의 유효성 검사를 통과하고, 종종 다른 기능 프로필을 가진 다른 모델에도 적용되어 적응형 평가를 사용하여 어려운 도메인별 데이터셋을 생성할 수 있음을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM 평가의 확장성 문제 해결을 위한 새로운 프레임워크 제시
◦
LLM의 실패 모드를 효과적으로 발견하고 조사하는 방법 제공
◦
도메인 특화된 어려운 데이터셋 생성 가능성 제시
◦
최첨단 LLM의 일관성 부족 문제를 밝힘
•
한계점:
◦
제시된 프레임워크의 일반화 가능성에 대한 추가 연구 필요
◦
평가자 에이전트의 신뢰성 및 편향 문제에 대한 고려 필요
◦
다양한 유형의 LLM에 대한 적용성 및 일반화 성능에 대한 추가 검증 필요
