# Do Agent Rules Shape or Distort? Guardrails Beat Guidance in Coding Agents

### 저자

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

### 💡 개요

본 연구는 GitHub에서 수집한 679개의 AI 코딩 에이전트 지침 파일(25,532개 규칙)을 기반으로, 개발자가 자연어 지침을 통해 AI 코딩 에이전트를 안내하는 것이 실제 성능 향상에 미치는 영향을 대규모 실험으로 검증했습니다. 연구 결과, 규칙은 성능을 7~14%p 향상시키지만, 전문가가 만든 규칙과 임의의 규칙 간의 성능 차이가 거의 없어 규칙이 특정 지침보다는 맥락 주입(context priming)을 통해 효과를 발휘하는 것으로 나타났습니다. 특히, "관련 없는 코드를 리팩터링하지 말라"와 같은 부정적 제약은 유일하게 유익한 규칙 유형이었으며, "코드 스타일을 따르라"와 같은 긍정적 지시는 오히려 성능을 저하시켰습니다.

### 🔑 시사점 및 한계

- **새로운 규칙 설계 원칙 제시:** AI 코딩 에이전트의 신뢰성 확보를 위해 긍정적 지시보다는 부정적 제약(무엇을 하지 말아야 하는지)을 통해 에이전트를 안내하는 것이 더 효과적입니다.

- **규칙의 잠재적 위험성 경고:** 의도적으로 작성된 규칙이라 할지라도, 개별적으로는 에이전트 성능을 저하시킬 수 있으며, 이러한 규칙이 쌓이면 숨겨진 신뢰성 위험으로 작용할 수 있습니다.

- **맥락 주입의 중요성:** 규칙의 구체적인 내용보다는 에이전트가 주어진 맥락을 이해하고 작업에 집중하도록 돕는 맥락 주입(context priming)으로서 규칙의 역할이 중요합니다.

- **한계점/향후 과제:** 본 연구는 특정 코딩 에이전트와 SWE-bench Verified 데이터셋에 국한된 실험이며, 규칙의 효과가 에이전트 아키텍처나 작업의 복잡성에 따라 달라질 수 있습니다. 향후 다양한 에이전트 및 작업 환경에서 규칙의 영향을 추가적으로 탐구하고, 규칙의 효과를 극대화할 수 있는 보다 정교한 규칙 설계 및 검증 방법론 개발이 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2604.11088)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).