# Autoregressive, Yet Revisable: In Decoding Revision for Secure Code Generation

### 저자

Chengran Yang, Zichao Wei, Heminghao Deng, Jinfeng Jiang, Zhensu Sun, Ting Zhang, Tianyi Wu, Ming Wen, David Lo

### 💡 개요

대규모 언어 모델(LLM) 기반 코드 생성은 일반적으로 토큰을 순차적으로 추가하는 단조로운 과정으로 이루어집니다. 본 논문에서는 프로그래밍의 본질적인 반복적인 생성 및 수정 과정을 모방하여, LLM이 단일 순방향 패스 내에서 자신의 이전 출력을 수정할 수 있도록 하는 'Stream of Revision'이라는 새로운 패러다임을 제안합니다. 제안된 방법은 별도의 외부 도구 없이 모델 자체의 수정 능력을 활용하여 지연 시간을 줄이고 의미론적 추론 능력을 최대로 활용합니다.

### 🔑 시사점 및 한계

- **프로그래밍 패러다임의 현실적인 반영:** LLM 기반 코드 생성에서 인간 프로그래머의 직관적이고 반복적인 수정 과정을 내재화함으로써, 보다 자연스럽고 효율적인 코드 생성 시스템 구축 가능성을 제시합니다.

- **효율적인 수정 및 보안 강화:** 외부 에이전트나 도구 없이 모델 내부적으로 수정 과정을 수행하여 추론 오버헤드를 최소화하면서도, 특히 보안이 중요한 코드 생성 분야에서 취약점을 효과적으로 줄이는 성과를 보여주었습니다.

- **새로운 토큰 액션의 필요성 및 일반화:** 'Stream of Revision'의 핵심인 수정 액션 토큰이 기존 LLM 아키텍처에 통합되어야 하므로, 모델 학습 및 fine-tuning 방식에 대한 연구가 추가적으로 필요합니다. 또한, 제안된 방법론이 코드 생성 외 다른 도메인에서도 유사한 효과를 보이는지에 대한 추가적인 검증이 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2602.01187)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).