Metamorphic Testing of Large Language Models for Natural Language Processing
Created by
Haebom
Category
Empty
저자
Steven Cho, Stefano Ruberto, Valerio Terragni
개요
본 논문은 대규모 언어 모델(LLM)의 자연어 처리(NLP) 작업에서의 결함을 탐지하기 위한 메타모픽 테스팅(MT)에 대한 연구를 제시한다. 레이블이 지정된 데이터셋 부족 문제를 해결하기 위해, 메타모픽 관계(MR)를 사용하여 LLM의 출력을 비교하고 오류를 파악한다. 총 191개의 MR을 수집하고, 대표적인 36개의 MR을 구현하여 3개의 LLM에 대한 광범위한 실험(약 56만 번의 메타모픽 테스트)을 수행했다.
