Reality Check: A New Evaluation Ecosystem Is Necessary to Understand AI's Real World Effects
Created by
Haebom
저자
Reva Schwartz, Rumman Chowdhury, Akash Kundu, Heather Frase, Marzieh Fadaee, Tom David, Gabriella Waters, Afaf Taik, Morgan Briggs, Patrick Hall, Shomik Jain, Kyra Yee, Spencer Thomas, Sundeep Bhandari, Lee Wan Sie, Qinghua Lu, Matthew Holmes, Theodora Skeadas
개요
본 논문은 기존 AI 평가 방식의 한계를 지적하며, 실세계 배포(교육, 금융, 의료, 고용 등)에서 발생하는 인간 및 사회적 요소를 탐구하고 탐색하며 해결하는 데 있어 체계적인 제약이 있음을 주장합니다. 기존 방식은 AI의 1차적 효과(즉각적인 시스템 출력의 정확성, 독성, 편향, 고정관념 내용 여부 등)에 집중하지만, 실생활에 AI가 적용됨에 따라 장기적인 결과 및 영향과 같은 2차적 효과(사용자 행동 변화, 사회·문화·경제적 영향, 노동력 변화, 장기적인 하류 영향 등)가 중요한 관심사가 되었습니다. 따라서 논문은 AI의 간접적이고 2차적인 효과를 측정하기 위해서는 실험실 내 정적이고 단일 회전 방식을 넘어, 사람들이 실제로 AI 기술을 사용할 때 발생하는 상황을 포착할 수 있는 테스트 패러다임을 포함해야 함을 주장합니다. 특히, AI의 2차적 효과에 대한 문맥적 인식을 촉진하고 하류 해석 및 의사결정을 가능하게 하는 데이터 및 방법의 필요성을 설명하고, 새로운 생태계에 대한 요구사항을 제안합니다.
시사점, 한계점
•
시사점:
◦
AI 평가 방식의 한계를 극복하기 위한 새로운 패러다임 제시: 1차적 효과 뿐 아니라 2차적 효과까지 고려하는 평가 방식 필요성 강조.
◦
실세계 적용 상황을 고려한 AI 평가의 중요성 부각: 실제 사용 환경에서의 AI 영향 평가의 필요성 제기.
◦
AI의 2차적 효과 측정을 위한 데이터 및 방법론 개발의 필요성 강조.
◦
AI의 사회적 책임 및 윤리적 문제에 대한 심도있는 고찰 촉구.
◦
새로운 AI 평가 생태계 구축에 대한 구체적인 요구사항 제시.
•
한계점:
◦
새로운 평가 방식에 대한 구체적인 방법론 제시 부족: 새로운 생태계 구축을 위한 구체적인 방법론 및 데이터 수집 전략 부재.
◦
2차적 효과의 측정 및 정의에 대한 모호성 존재: 2차적 효과의 범위와 측정 가능성에 대한 논의가 추가적으로 필요.
◦
다양한 분야의 AI 적용에 대한 일반화 가능성 제한: 특정 분야에 국한된 논의로, 다른 분야의 적용 가능성에 대한 추가적인 연구 필요.
