Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Moral Change or Noise? On Problems of Aligning AI With Temporally Unstable Human Feedback

Created by
  • Haebom
Category
Empty

저자

Vijay Keswani, Cyrus Cousins, Breanna Nguyen, Vincent Conitzer, Hoda Heidari, Jana Schaich Borg, Walter Sinnott-Armstrong

개요

도덕적 영역에서의 AI 정렬은 인간의 도덕적 선호를 파악하여 AI에 통합하려 하지만, 이러한 선호는 시간이 지남에 따라 변화한다. 본 연구는 이러한 시간적 변화가 AI 정렬에 미치는 영향을 조사한다. 신장 할당을 예시로, 400명 이상의 참가자로부터 여러 세션에 걸쳐 가상의 신장 이식 환자에 대한 쌍별 비교 응답을 수집했다. 응답의 6-20%에서 변화가 관찰되었고, 모델 또한 불안정성을 보였다. AI 모델의 예측 성능은 응답 및 모델 불안정성에 따라 감소했으며, 시간의 흐름에 따라 예측 성능이 감소하여, 시간적 선호 변화를 고려하는 것이 중요함을 시사한다.

시사점, 한계점

인간의 도덕적 선호는 시간의 흐름에 따라 변화하며, 이는 AI 정렬에 심각한 영향을 미칠 수 있다.
응답 및 모델 불안정성은 AI 모델의 예측 성능을 감소시킨다.
시간적 변화를 고려하지 않으면 AI 모델의 성능이 저하될 수 있다.
AI 정렬 시, 변화하는 사용자의 선호에 대한 이해가 필요하다.
연구는 신장 할당 영역에 국한되어 있으며, 다른 도메인으로의 일반화에는 추가 연구가 필요하다.
응답 및 모델 불안정성의 원인에 대한 추가적인 분석이 필요하다.
👍