본 논문은 대규모 언어 모델(LLM)이 반복되는 시퀀스를 암기하는 취약점과 이로 인한 개인 정보 및 저작권 문제를 다룬다. 기존의 특정 뉴런에서 암기된 정보를 제거하는 사후적 완화 전략의 효과가 제한적임을 보이고, 자연스러운 시퀀스의 암기가 일반적인 언어 능력과 기계적으로 얽혀 있어 사후적 제거가 어려움을 제시한다. 이에 본 논문은 설계상 암기의 격리를 촉진하는 새로운 패러다임인 MemSinks를 제안한다. 각 시퀀스에 대해 고유한 암기 뉴런 집합을 활성화하는 시퀀스 식별자를 활용하여 암기된 콘텐츠의 격리를 용이하게 하고, 일반적인 언어 능력을 손상시키지 않고 제거할 수 있도록 한다. 실제 데이터를 사용한 10억 파라미터 및 10억 토큰 규모의 MemSinks 구현을 통해 효과적인 격리와 강력한 일반화를 확인하고, 일반화와 격리가 동시에 달성 가능함을 최초로 증명한다. 소스 코드는 공개되어 있다.
