# Diffusion-Inspired Masked Fine-Tuning for Knowledge Injection in Autoregressive LLMs

### 저자

Xu Pan, Ely Hahami, Jingxuan Fan, Ziqian Xie, Haim Sompolinsky

### 💡 개요

본 연구는 사실 정보가 자주 변하는 환경에서 자동 회귀 대형 언어 모델(arLLM)의 지식 업데이트 효율성 문제를 해결하고자 합니다. 연구자들은 확산 대형 언어 모델(dLLM)이 더 적은 샘플로도 새로운 지식을 더 쉽게 학습하고 반전 저주에 강하다는 점에 착안하여, arLLM에도 적용 가능한 '마스크 파인튜닝' 기법을 제안합니다. 이 기법은 원본 텍스트의 일부를 마스킹하고 이를 복원하는 방식으로, arLLM에서도 별도의 패러프레이징 없이 지식 주입 효과를 높이고 반전 저주에 대한 내성을 확보하여 dLLM과의 격차를 줄였습니다.

### 🔑 시사점 및 한계

- 마스크 파인튜닝은 arLLM에서 별도의 패러프레이징 증강 없이도 효율적인 지식 주입을 가능하게 하여, 동적 환경에서의 LLM 활용성을 높입니다.

- 제안된 기법은 단순 사실 지식뿐만 아니라 수학과 같은 다양한 작업에서도 성능 향상을 보여, LLM의 일반적인 학습 능력 향상에 기여할 수 있습니다.

- 마스크 파인튜닝이 arLLM에서 dLLM의 장점을 모방하는 원리를 더욱 깊이 이해하고, 다양한 태스크에 대한 적용 범위를 확장하기 위한 추가적인 연구가 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2510.09885)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).