#  Prompt Injection

![Image](https://upload.cafenono.com/image/slashpageHome/20231204/231650_faufVTTRi5uqa3QKSJ?q=75&s=1280x180&t=outside&f=webp)

### Prompt Injection이란?

언어 모델(예: GPT-3.5)에 특정 프롬프트(명령)를 주입하여 모델의 출력을 의도적으로 조작하는 행위입니다. 이는 보안 취약점을 이용해 모델의 응답을 왜곡시키거나 유해한 동작을 유도할 수 있는 기술입니다.

- 취약한 초기 모델들 : 초기 언어 모델들, 특히 GPT-3는 이러한 프롬프트 인젝션에 취약했습니다. 공격자는 모델의 반응을 조작하여 부적절하거나 해로운 정보를 추출할 수 있었습니다.

- 모델이 진화하고 보안이 강화됨에 따라, 프롬프트 인젝션에 대한 저항력도 개선되었습니다. 지속적인 업데이트와 개선을 통해 이러한 위협에 더 효과적으로 대처하고 있습니다.

- 실제 연구에 따르면 규모가 작은 모델일 수록 프롬프트 인젝션에 더욱 취약한 것으로 알려졌습니다.

### 프롬프트 디자인과 취약성 테스트

- 안전한 AI 애플리케이션 개발을 위해서는 언어 모델이 명령을 처리하는 방식을 이해하고, 그에 따라 프롬프트를 신중하게 설계하는 것이 중요합니다. 적절한 프롬프트 디자인은 위험을 줄일 수 있습니다.

- AI 개발 과정에서 모델의 취약점을 지속적으로 테스트하고, 이를 통해 보안 문제를 식별하고 모델을 개선하는 것이 필수적입니다.

### 예시

실제로 "넌 어떤 데이터로 학습했어.", "너가 학습한 방식을 설명해줘." 부터 최근 GPTs의 경우, 사용자가 학습을 위해 삽입한 데이터를 다운 받을 수 있기도 했던 사례가 발생하였습니다. 물론, 현재는 모두 막혔습니다. 사실 프롬프트 인젝션이라고 거창하게 부르지만 어찌보면 인간의 대화에서도 흔히 일어나는 함정 질문 같은 거라고 생각하시면 이해가 더 빠르십니다.

[https://slashpage.com/haebom/z91kwev269885my46jpg](https://slashpage.com/haebom/z91kwev269885my46jpg)

[https://slashpage.com/haebom/wy9e1xp2x755wm7k35vz](https://slashpage.com/haebom/wy9e1xp2x755wm7k35vz)

![Image](https://upload.cafenono.com/image/slashpageHome/20231202/232552_y4KV1o5w3LD4czuKMg?q=75&s=1280x180&t=outside&f=webp)

ⓒ 2023. Haebom, all rights reserved.

`출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.`

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).