Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Semantic Anchors in In-Context Learning: Why Small LLMs Cannot Flip Their Labels

Created by
  • Haebom
Category
Empty

저자

Anantha Padmanaban Krishna Kumar (Boston University)

개요

본 논문은 문맥 내 학습(ICL)이 사전 학습된 레이블 의미를 재정의할 수 있는지, 아니면 기존 의미론적 백본을 단지 개선하는지에 대한 문제를 다룬다. 저자들은 LLM을 프롬프트 유도 분류기로 취급하고, 자연스러운 시연(정확한 레이블)과 반전된 시연(체계적으로 레이블 의미를 뒤집음) 하에서의 동작을 비교한다. ICL 동작을 세 가지 정렬 지표(진실, 사전, 프롬프트 정렬)로 분해하고, 뒤집힌 의미론 하에서의 정확도로 정의되는 의미론적 재정의율을 도입한다. 8개의 분류 작업과 8개의 오픈 소스 LLM(1-12B 매개변수)에 걸쳐, 의미론적 앵커 관점에 대한 일관된 증거를 발견한다.

시사점, 한계점

•
시사점:
◦
ICL은 자연스러운 시연을 통해 정확도를 향상시키면서 강한 사전 정렬을 유지한다.
◦
대부분의 정확한 예측은 사전 정보가 약할 때조차 제로샷 동작과 일치한다.
◦
ICL은 레이블 의미를 유연하게 재매핑하기보다는 사전 학습 중에 학습된 안정적인 의미론적 방향으로 입력을 투영하는 방식을 주로 조정한다.
•
한계점:
◦
반전된 시연을 사용하면 모델은 일관된 반의미론적 분류기를 학습할 수 없다.
◦
프롬프트 정렬은 정확도를 희생해야만 증가한다.
◦
의미론적 재정의율은 소수 샷 1-12B 설정에서 정확히 0으로 유지된다.
◦
이러한 규모에서 레이블 의미를 재정의하는 것은 ICL을 넘어선 개입이 필요하다.
👍
Made with Slashpage