Sensitivity of Small Language Models to Fine-tuning Data Contamination
Created by
Haebom
Category
Empty
저자
Nicy Scaria, Silvester John Joseph Kennedy, Deepak Subramani
개요
본 논문은 자원 제약적인 환경에서 사용되는 소형 언어 모델 (SLM)의 instruction tuning 중 데이터 오염에 대한 행동 강건성에 대한 연구를 수행한다. 23개의 SLM (270M ~ 4B parameters)을 대상으로 구문 및 의미 변환 유형에 대한 민감도를 측정했다. 실험은 구문 변환 (문자 및 단어 역순)과 의미 변환 (무관 및 반사실적 응답)을 25%, 50%, 75%, 100%의 오염 수준으로 적용하여 진행되었다.
시사점, 한계점
•
구문 변환, 특히 문자 역순 변환은 모든 모델에서 성능을 심각하게 저하시킨다.
•
의미 변환은 특정 임계값을 가지며, 핵심 언어 능력에 있어서 더 강한 회복성을 보인다.
•
더 크고 성능이 좋은 모델이 의미적 오염에 더 취약하며, 유해한 지침을 더 쉽게 따른다 (능력 저주).
•
instruction tuning은 강건성에 일관된 이점을 제공하지 않으며, 때로는 회복성을 감소시키기도 한다.
•
SLM의 구문 패턴 오염에 대한 불균형적인 취약성에 대한 실증적 증거를 제시한다.
•
구문 및 의미 변환 간의 비대칭적 민감도 패턴을 확인한다.
•
오염 강건성 평가를 위한 체계적인 평가 프로토콜을 제시한다.
•
현재의 강건성 가정은 소형 모델에 적용되지 않을 수 있으며, 오염을 고려한 훈련 프로토콜의 필요성을 강조한다.
