Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Test It Before You Trust It: Applying Software Testing for Trustworthy In-context Learning

Created by
  • Haebom
Category
Empty

저자

Teeradaj Racharak, Chaiyong Ragkhitwetsagul, Chommakorn Sontesadisai, Thanwadee Sunetnanta

개요

본 논문은 대규모 언어 모델(LLM)의 인 컨텍스트 학습(ICL)의 신뢰성을 평가하기 위한 소프트웨어 테스트 기반 프레임워크인 MMT4NL을 제안합니다. MMT4NL은 적대적 섭동과 소프트웨어 테스트 기법을 활용하여 ICL의 다양한 언어적 능력을 평가합니다. LLM을 소프트웨어로 간주하고, 테스트 세트로부터 변형된 적대적 예시를 생성하여 ICL 프롬프트의 버그를 정량화하고 특정짓는 것을 목표로 합니다. 감정 분석과 질의응답 과제에 대한 실험을 통해 최첨단 LLM의 다양한 언어적 버그를 드러냅니다.

시사점, 한계점

시사점:
소프트웨어 테스트 기법을 활용하여 LLM의 ICL 신뢰성을 평가하는 새로운 프레임워크(MMT4NL) 제시.
적대적 섭동을 이용하여 LLM의 취약점과 예측 불가능한 동작을 탐지.
다양한 언어적 버그를 발견하고, ICL의 신뢰성 향상에 기여할 수 있는 통찰력 제공.
한계점:
제안된 프레임워크의 일반화 가능성에 대한 추가적인 연구 필요.
다양한 LLM 아키텍처 및 과제에 대한 확장성 검증 필요.
MMT4NL을 통해 발견된 버그의 심각도 및 영향에 대한 정량적 분석 부족.
👍