Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations

Created by
  • Haebom
Category
Empty

저자

Anka Reuel, Avijit Ghosh, Jenny Chim, Andrew Tran, Yanan Long, Jennifer Mickel, Usman Gohar, Srishti Yadav, Pawan Sasanka Ammanamanchi, Mowafak Allaham, Hossein A. Rahmani, Mubashara Akhtar, Felix Friedrich, Robert Scholz, Michael Alexander Riegler, Jan Batzner, Eliya Habba, Arushi Saxena, Anastassia Kornilova, Kevin Wei, Prajna Soni, Yohan Mathew, Kevin Klyman, Jeba Sania, Subramanyam Sahoo, Olivia Beyer Bruvik, Pouya Sadeghi, Sujata Goswami, Angelina Wang, Yacine Jernite, Zeerak Talat, Stella Biderman, Mykel Kochenderfer, Sanmi Koyejo, Irene Solaiman

개요

본 논문은 고위험 AI 시스템에 중요한 기반 모델의 사회적 영향 평가에 대한 연구를 수행했습니다. 모델 개발자들의 1차 보고서 및 3차 평가 자료를 분석하고, 개발자 인터뷰를 통해 사회적 영향 평가의 현황을 파악했습니다. 연구 결과, 1차 보고는 부족하고 피상적이며, 3차 평가자들은 광범위하고 엄격한 평가를 제공하지만, 모델 개발자만이 알 수 있는 중요한 정보 공개는 부족하다는 것을 발견했습니다.

시사점, 한계점

시사점:
AI의 사회적 영향 평가에 대한 현재의 관행은 중요한 격차를 보입니다.
개발자의 투명성을 높이는 정책, 독립적인 평가 생태계 강화, 일관되고 접근 가능한 3차 평가 집계를 위한 공유 인프라 구축이 시급합니다.
3차 평가자들의 역할은 중요하지만, 모델 개발자의 정보 공개가 뒷받침되어야 합니다.
한계점:
1차 보고는 부족하고, 환경 영향 및 편향과 같은 주요 분야에서 감소하는 추세입니다.
모델 개발자들은 데이터 출처, 콘텐츠 조정 노동, 재정적 비용, 교육 인프라 등에 대한 정보를 우선순위에서 제외하는 경향이 있습니다.
3차 평가의 한계는 모델 개발자들의 정보 접근성에 제한을 받습니다.
👍