Constructing Efficient Fact-Storing MLPs for Transformers
Created by
Haebom
Category
Empty
저자
Owen Dugan, Roberto Garcia, Ronny Junkins, Jerry Liu, Dylan Zinsley, Sabri Eyuboglu, Atri Rudra, Chris Re
개요
본 논문은 대규모 언어 모델(LLM)의 팩트 저장 메커니즘을 개선하는 MLP 구성 프레임워크를 소개합니다. 이 프레임워크는 기존 연구보다 1) 거의 모든 입력-출력 쌍에 적용 가능하고, 2) 일부 임베딩에 대해 정보 이론적 한계에 근접하는 파라미터 효율성을 달성하며, 3) 트랜스포머 내에서 사실 회상에 활용될 수 있도록 설계되었습니다.
시사점, 한계점
•
시사점:
◦
MLP 내 팩트 저장 능력과 트랜스포머 내 사용성 간의 근본적인 트레이드오프 발견
◦
구성된 MLP와 경사 하강 훈련된 MLP 모두에 대해 사실 당 파라미터 스케일링을 특징짓는 값 임베딩에 대한 메트릭 발견
◦
경사 하강 MLP의 사실 당 파라미터 점근선을 실험적으로 일치시키는 간단한 인코더-디코더 메커니즘 식별
◦
모듈식 팩트 편집을 위한 증명된 개념 적용: 한 레이어 트랜스포머에서 전체 MLP를 한 번에 교체
