Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Examining Two Hop Reasoning Through Information Content Scaling

Created by
  • Haebom
Category
Empty

저자

David Johnston, Nora Belrose

개요

본 논문은 Transformer 모델이 잠재적인 2단계 질문(예: "Bob의 어머니의 상사는 누구인가?")에 대해 일관되지 않게 답하는 이유를 연구합니다. 단순 사실 암기에서 Transformer의 지식 용량에 대한 이전 연구에 착안하여, 2단계 질문과 답변 데이터셋에 대한 학습 능력이 모델 크기에 따라 어떻게 확장되는지 조사합니다. 연구 결과, 잠재적인 2단계 질문 풀이에는 각 사실을 두 번 학습해야 함을 시사하며, 사고의 연쇄(chain of thought)를 사용하는 2단계 질문 풀이는 이러한 제약을 받지 않음을 보여줍니다. 또한, 적절한 데이터셋 매개변수를 통해 작은 모델이 함수 합성을 통해 답하는 것보다 각 질문에 대한 답을 독립적으로 암기하는 방식에 "갇히게" 할 수 있음을 보여줍니다. 결론적으로 용량 확장 측정이 기존의 해석 가능성 방법을 보완할 수 있음을 제시하지만, 이를 위한 어려움도 존재함을 밝힙니다.

시사점, 한계점

•
시사점:
◦
Transformer가 2단계 질문에 일관되지 않게 답하는 이유를 모델 크기 및 학습 방식과 연결하여 설명.
◦
잠재적인 2단계 질문 풀이를 위해서는 각 사실을 두 번 학습해야 할 가능성 제시.
◦
사고의 연쇄(chain of thought)를 활용하면 2단계 질문 풀이의 효율성 향상 가능성 제시.
◦
모델 용량 확장 측정을 통해 모델의 학습 과정을 이해하는 새로운 접근법 제시.
•
한계점:
◦
모델 용량 확장 측정을 해석 가능성 방법으로 활용하는 데 어려움 존재.
◦
제시된 연구 결과가 모든 유형의 Transformer 모델과 모든 종류의 2단계 질문에 일반화될 수 있는지에 대한 추가 연구 필요.
👍
Made with Slashpage