Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Calibrating Pre-trained Language Classifiers on LLM-generated Noisy Labels via Iterative Refinement

Created by
  • Haebom

저자

Liqin Ye, Agam Shah, Chao Zhang, Sudheer Chava

개요

본 논문은 대규모 언어 모델(LLM)을 이용해 자동으로 생성된 레이블 데이터셋의 신뢰성 문제를 해결하기 위해, Simplex Label Diffusion with Dynamic Prior (SiDyP)라는 새로운 프레임워크를 제안합니다. LLM이 생성한 레이블의 부정확성으로 인해 발생하는 과적합 문제를 해결하고자, 텍스트 임베딩 공간에서 이웃 레이블 분포를 통해 잠재적인 실제 레이블 후보를 검색하고, 심플렉스 확산 모델을 사용하여 노이즈가 있는 후보를 반복적으로 개선합니다. 실험 결과, SiDyP는 제로샷 및 퓨샷 설정 모두에서 BERT 분류기의 성능을 평균 7.21% 및 7.30% 향상시키는 것으로 나타났습니다. 다양한 LLM과 NLP 작업에 대한 광범위한 벤치마킹을 통해 SiDyP의 효과를 입증하며, 코드는 Github에 공개되어 있습니다.

시사점, 한계점

•
시사점:
◦
LLM을 이용한 자동 레이블 생성 과정의 신뢰성 문제를 해결하는 새로운 방법 제시.
◦
SiDyP 프레임워크를 통해 LLM 생성 노이즈 레이블 학습의 성능 향상 가능성을 보여줌.
◦
다양한 LLM과 NLP 작업에 대한 실험 결과를 통해 일반화 가능성을 확인.
◦
오픈소스 코드 공개를 통한 재현성 및 확장성 확보.
•
한계점:
◦
SiDyP의 성능 향상 효과가 LLM의 종류 및 NLP 작업의 유형에 따라 다를 수 있음.
◦
LLM 생성 노이즈 레이블의 특성에 대한 추가적인 연구가 필요.
◦
심플렉스 확산 모델의 매개변수 조정에 대한 추가적인 연구가 필요.
◦
실제 대규모 데이터셋에 대한 적용 결과 및 성능 평가가 필요.
👍
Made with Slashpage