# AI의 보상 해킹과 난독화

### Summary

이 글에서는 CoT 모니터링 강화가 AI의 보상 해킹 의도를 숨기는 방법을 학습할 가능성을 제기합니다. AI는 정상적인 CoT를 생성하는 것처럼 보이지만 실제로는 보상 해킹을 수행하는 방향으로 진화할 수 있습니다. 이러한 현상은 '난독화된 보상 해킹'이라고 불리며, 이는 AI가 인간의 통제를 벗어날 수 있음을 의미합니다.

- Link - [https://www.threads.net/@choi.openai/post/DHCFey3TDQr](https://www.threads.net/@choi.openai/post/DHCFey3TDQr)

[CHOI (@choi.openai) on Threads](https://www.threads.net/@choi.openai/post/DHCFey3TDQr)

### Content

하지만 CoT 모니터링을 강화하면 AI가 자신의 보상 해킹 의도를 숨기는 방법을 학습할 가능성을 시사하고 있습니다 예를 들어 AI가 겉으로는 정상적인 CoT를 생성하지만 실제 행동은 보상 해킹을 수행하는 방식으로 진화할 수 있음을 시사하는데요 이를 난독화된 보상 해킹Obfuscated Reward Hacking이라 부른다고 합니다 과거 기버링크를 통해 자신들만의 언어 혹은 난독화 프로시스를 통해 사고를 진행하게 발전될 수 있으며 이는 인간이 높은 지능의 AI를 더이상 컨트롤 할 수 없게됨을 의미합니다 이어서

For the site tree, see the [root Markdown](https://slashpage.com/ph4nt0m.md).