Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models

Created by
  • Haebom

저자

Ranjie Duan, Jiexi Liu, Xiaojun Jia, Shiji Zhao, Ruoxi Cheng, Fengxiang Wang, Cheng Wei, Yong Xie, Chang Liu, Defeng Li, Yinpeng Dong, Yichi Zhang, Yuefeng Chen, Chongwen Wang, Xingjun Ma, Xingxing Wei, Yang Liu, Hang Su, Jun Zhu, Xinfeng Li, Yitong Sun, Jie Zhang, Jinzhao Hu, Sha Xu, Yitong Yang, Jialing Tao, Hui Xue

개요

본 논문은 악의적인 사용자뿐 아니라 심리적 고통을 겪는 취약한 사용자로부터 발생하는 위험까지 고려하는 새로운 안전 정렬 패러다임인 '구성적 안전 정렬(CSA)'을 제시합니다. 기존의 안전 메커니즘이 악의적인 행위를 방어하는 데 초점을 맞춰 단순히 거부하는 것과 달리, CSA는 사용자의 반응을 예측하고 위험 경계를 미세하게 조정하며 해석 가능한 추론 제어를 통해 안전을 신뢰 구축 과정으로 전환합니다. Oyster-I(Oy1)이라는 모델에 구현된 CSA는 기존 오픈 모델들 중 최고 수준의 안전성을 달성하면서 높은 일반적인 성능을 유지하며, 구성적 벤치마크에서 GPT-5에 근접한 수준의 성과를 보였고, Strata-Sword 탈옥 데이터셋에서는 GPT-o1 수준에 가까운 견고성을 보였습니다. 본 논문은 Oy1 모델, 코드, 그리고 벤치마크를 공개하여 책임감 있고 사용자 중심의 AI 개발을 지원합니다.

시사점, 한계점

•
시사점:
◦
악의적 사용자뿐 아니라 심리적 취약성을 가진 사용자를 고려한 새로운 안전 패러다임 제시
◦
단순 거부가 아닌 안내 중심의 안전 접근 방식을 통해 사용자와의 신뢰 구축 및 긍정적 상호작용 도모
◦
높은 안전성과 성능을 동시에 달성한 Oy1 모델 및 관련 자료 공개를 통한 책임감 있는 AI 개발 지원
◦
사용자 중심의 AI 개발에 대한 새로운 관점 제시
•
한계점:
◦
CSA의 효과성 및 일반화 가능성에 대한 추가적인 연구 필요
◦
다양한 유형의 심리적 고통 및 사용자 상황에 대한 포괄적인 고려 필요
◦
GPT-5, GPT-o1 등과의 비교 결과에 대한 구체적인 설명 및 데이터 공개 필요
◦
Oy1 모델의 장기적인 안전성 및 안정성에 대한 지속적인 모니터링 필요
👍
Made with Slashpage