Toward an Evaluation Science for Generative AI Systems
Created by
Haebom
저자
Laura Weidinger, Deb Raji, Hanna Wallach, Margaret Mitchell, Angelina Wang, Olawale Salaudeen, Rishi Bommasani, Deep Ganguli, Sanmi Koyejo, William Isaac
개요
본 논문은 실세계 배포 환경에서 생성형 AI 시스템의 성능과 안전성을 예측하고 이해해야 할 필요성이 증가하고 있음을 강조한다. 현재의 평가 생태계는 정적 벤치마크의 타당성 문제와 임시적인 사례별 감사의 확장성 부족으로 부족하다. 따라서 본 논문에서는 생성형 AI 시스템에 대한 평가 과학의 성숙을 주장하며, 운송, 항공 우주, 제약 공학 등 다른 분야의 안전 평가 관행 개발에서 얻은 통찰력을 활용한다. 특히, 실세계 성능에 적용 가능한 평가 지표, 반복적인 지표 개선, 평가 기관 및 규범 확립이라는 세 가지 주요 교훈을 제시하고, 이러한 통찰력을 적용하여 생성형 AI 시스템을 더욱 엄격하게 평가하는 구체적인 방안을 제시한다.
시사점, 한계점
•
시사점:
◦
실세계 적용 가능한 평가 지표 개발의 중요성 강조
◦
지속적인 평가 지표 개선 및 반복적 평가의 필요성 제시
◦
생성형 AI 시스템 평가를 위한 기관 및 규범의 필요성 제기
◦
다른 분야의 안전 평가 관행에서 얻은 교훈을 생성형 AI 평가에 적용하는 구체적인 방안 제시
