Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Signatures of human-like processing in Transformer forward passes

Created by
  • Haebom

저자

Jennifer Hu, Michael A. Lepori, Michael Franke

개요

본 논문은 인간 인지 연구에 대한 도구로서 최신 AI 모델의 활용 가능성을 탐구합니다. 기존 연구들이 모델의 최종 출력(forward pass의 결과)을 기반으로 인간의 측정값을 예측하는 데 초점을 맞춘 반면, 본 연구는 Transformer 모델의 계층별 동적 계산 과정(layer-time dynamics)을 분석하여 인간의 실시간 처리 과정과의 연관성을 조사합니다. 6개 영역에서 20개의 오픈소스 모델을 사용하여, 인지 이론에서 영감을 얻은 경쟁자 간섭(competitor interference)의 기계적 특징과 인간의 처리 과정의 특징을 모델의 forward pass 동역학을 통해 예측하는지 여부를 검증합니다. 결과적으로, 모델은 인간의 의사결정 갈등이 예상되는 경우 초기 단계에서 잘못된 답변을 선호하는 경향을 보였으며, 최종 출력 확률 분포뿐 아니라 동적 측정값이 인간의 처리 과정을 더 잘 예측함을 확인했습니다. 또한, 모델의 크기가 항상 인간과 유사한 처리 패턴을 보이는 것은 아님을 발견했습니다. 본 연구는 AI 모델을 단순한 자극-반응 매핑 도구가 아닌, 인지 과정을 명시적으로 모델링하는 도구로 활용하는 새로운 방법을 제시합니다.

시사점, 한계점

시사점:
AI 모델의 내부 처리 과정 분석을 통해 인간 인지 과정에 대한 새로운 이해를 제공합니다.
모델의 동적 측정값이 정적 측정값보다 인간의 처리 과정을 더 잘 예측함을 보여줍니다.
AI 모델을 인간 인지 연구에 활용하는 새로운 패러다임을 제시합니다.
모델의 크기와 인간과의 유사성 간의 단순한 상관관계가 없음을 시사합니다.
한계점:
분석에 사용된 모델의 종류와 데이터셋의 제한으로 일반화 가능성에 대한 추가 연구가 필요합니다.
인간의 인지 과정과 모델의 내부 처리 과정 간의 정확한 대응 관계에 대한 추가적인 분석이 필요합니다.
경쟁자 간섭 이외의 다른 인지 과정에 대한 분석이 필요합니다.
👍