When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles
작성자
카테고리
Empty
저자
Tobias Bersia, Tatiana Gaintseva
💡 개요
본 연구는 언어 모델의 내부 활성화를 이해하기 위한 도구인 Activation Oracles(AOs)가 학습 데이터와 목표에 따라 학습된 시스템이며, 객관적인 정보 추출기가 아님을 보여줍니다. 특히, 특정 개념을 내부적으로 활용하면서도 직접적인 표현을 회피하도록 미세 조정된 모델에 대해 훈련된 AOs가 해당 개념을 회복하지 못하는 '개념별 비읽기(anti-readers)' 현상을 발견했습니다. 이러한 실패는 모델의 표현력 부족이 아닌, AO 자체의 읽기 경로에서 발생하는 것으로 나타났습니다.
🔑 시사점 및 한계
•
AI 모델의 내부 작동 방식을 해석하기 위한 Activation Oracles와 같은 도구는 학습된 시스템으로서 편향을 가질 수 있으며, 항상 객관적인 정보 추출기로 작동하지 않을 수 있습니다.
•
행동적 누출, 표현 수준의 해독 가능성, 그리고 AO의 언어화 가능성이 서로 분리될 수 있음을 시사하며, 이는 학습 기반 해석 인터페이스의 신뢰성에 대한 우려를 제기합니다.
•
본 연구는 특정 과제 및 모델 아키텍처에 국한된 결과이며, 더 다양한 모델과 과제에 대한 AOs의 '비읽기' 현상 연구 및 그 근본 원인 규명이 필요합니다.
