HyperDAS: Towards Automating Mechanistic Interpretability with Hypernetworks
Created by
Haebom
Category
Empty
저자
Jiuding Sun, Jing Huang, Sidharth Baskaran, Karel D'Oosterlinck, Christopher Potts, Michael Sklar, Atticus Geiger
개요
본 논문은 분산 정렬 검색(DAS)의 한계점을 해결하기 위해, 변환기 기반 하이퍼네트워크 아키텍처인 HyperDAS를 제안합니다. HyperDAS는 개념이 실현되는 잔차 스트림의 토큰 위치를 자동으로 찾고, 해당 잔차 스트림 벡터의 특징을 구성합니다. Llama3-8B를 이용한 실험에서 RAVEL 벤치마크 상에서 최첨단 성능을 달성했습니다. 또한, HyperDAS가 타겟 모델을 충실하게 해석하는 대신 새로운 정보를 주입할 수 있다는 우려를 완화하기 위한 설계 결정을 검토합니다.
시사점, 한계점
•
시사점:
◦
변환기 기반 하이퍼네트워크를 이용하여 신경망의 개념 특징을 효율적으로 찾는 새로운 방법 제시.
◦
RAVEL 벤치마크에서 최첨단 성능 달성.
◦
강력한 해석 가능성 방법이 타겟 모델에 새로운 정보를 주입할 수 있다는 우려에 대한 완화 전략 제시.
•
한계점:
◦
HyperDAS의 성능은 Llama3-8B와 같은 대규모 모델에 의존적일 수 있음.
◦
모든 강력한 해석 가능성 방법과 마찬가지로, HyperDAS가 타겟 모델에 새로운 정보를 완전히 배제하지 못할 가능성 존재.
