Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Ethics and Persuasion in Reinforcement Learning from Human Feedback: A Procedural Rhetorical Approach

Created by
  • Haebom

저자

Shannon Lodoen, Alexi Orchard

개요

본 논문은 강화 학습 기반 인간 피드백(RLHF)을 활용하여 미세 조정된 ChatGPT, Claude와 같은 생성형 AI 챗봇의 등장으로 인해 발생하는 윤리적, 사회기술적, 교육적 함의를 탐구한다. 기존 연구가 생성된 콘텐츠의 설득력에 초점을 맞춘 것과 달리, 이 논문은 Ian Bogost의 절차적 수사학 개념을 활용하여 RLHF 기반 LLM의 기저 메커니즘에 대한 수사학적 분석을 수행한다. 특히 언어 관습 준수, 정보 탐색 방식, 사회적 관계에 대한 기대 등 RLHF 향상된 생성형 AI 챗봇에 의해 재구성되고 있는 핵심 절차 및 과정을 분석하여, AI 기술을 통한 절차적 변화가 어떻게 헤게모니적 언어 사용을 강화하고, 편향을 영속시키며, 학습을 맥락에서 분리하고, 인간 관계를 침해할 수 있는지에 대한 새로운 연구 방향을 제시한다.

시사점, 한계점

시사점: RLHF 기반 생성형 AI 챗봇의 절차적 수사학적 분석을 통해 AI 윤리에 대한 새로운 연구 방향을 제시한다. AI 기술이 언어 사용, 정보 탐색, 사회적 관계에 미치는 영향을 심층적으로 이해하는 데 기여한다. 교육자, 연구자, 학자 및 생성형 AI 챗봇 사용자에게 유용한 시사점을 제공한다.
한계점: 본 논문은 이론적 연구에 초점을 맞추고 있으며, 실제 생성형 AI 챗봇의 사용 사례에 대한 구체적인 분석이 부족할 수 있다. 특정 RLHF 알고리즘이나 모델에 대한 상세한 기술적 분석은 제한적이다. 제시된 우려 사항에 대한 구체적인 해결 방안 제시는 미흡하다.
👍