본 논문은 대규모 언어 모델(LLM)에서의 자연어 처리 작업 수행의 주요 방법인 맥락 내 학습(ICL)에 대해 다룹니다. ICL은 사전 훈련 과정에서 획득한 지식, 즉 작업 사전 정보에 크게 의존하지만, 특히 감정이나 도덕성과 같은 주관적인 영역에서는 사전 정보가 사후 예측에 큰 영향을 미쳐 "학습"보다는 사전 정보 검색에 주로 의존하는 한계를 보입니다. 본 연구는 데이터셋 집계 과정에서 발생하는 낮은 일치율과 상이한 주석들의 결합으로 인해 생성되는 주석 인공물이 프롬프트에 해로운 노이즈를 발생시키는지, 그리고 LLM 사전 정보의 정량적 측정을 통해 특정 주석자에 대한 사후 편향을 평가합니다. 연구 결과, 주관적 작업 모델링에서 집계는 혼란 요소이며 개별 주석자 모델링에 집중해야 함을 시사하지만, 집계가 ICL과 최첨단 기술 간의 차이를 완전히 설명하지는 못하며 다른 요인도 작용함을 보여줍니다. 마지막으로, 주석자 수준 레이블을 엄밀히 연구하여 소수 주석자들이 LLM과 더 잘 일치하고 그들의 관점이 더욱 증폭될 수 있음을 발견합니다.
