Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Active Slice Discovery in Large Language Models

Created by
  • Haebom
Category
Empty

저자

Minhui Zhang, Prahar Ijner, Yoav Wald, Elliot Creager

개요

본 논문은 대규모 언어 모델(LLM)이 특정 데이터 하위 집합(오류 슬라이스)에서 나타내는 체계적인 오류를 해결하기 위한 연구를 제시한다. 특히, 독성 댓글 분류 문제에서 인간이 정의한 슬라이스를 발견하는 Active Slice Discovery (ASD)라는 접근 방식을 제안하고, 이를 통해 소수의 주석만으로 오류 슬라이스를 효율적으로 식별하는 방법을 탐구한다. 다양한 특징 표현 및 능동 학습 알고리즘을 사용하여 ASD의 효과를 실험적으로 평가하며, 불확실성 기반 능동 학습 알고리즘이 경쟁력 있는 정확도를 달성하고 기준선을 능가함을 보여준다.

시사점, 한계점

시사점:
Active Slice Discovery는 LLM의 오류를 효율적으로 식별하기 위한 효과적인 방법론을 제시한다.
불확실성 기반 능동 학습 알고리즘은 오류 슬라이스 식별에 높은 효율성을 보인다.
소수의 주석만으로도 경쟁력 있는 성능을 달성하여, 주석 비용을 크게 절감할 수 있다.
한계점:
실험은 독성 댓글 분류 문제에 국한되어 있으며, 다른 문제 도메인으로의 일반화는 추가 연구가 필요하다.
특징 표현 및 능동 학습 알고리즘의 선택에 따른 성능 변화에 대한 추가적인 분석이 필요하다.
인간이 정의한 슬라이스에 대한 의존성을 극복하기 위한 자동화된 슬라이스 발견 방법론 개발이 필요하다.
👍