Toward an Evaluation Science for Generative AI Systems
Created by
Haebom
Category
Empty
저자
Laura Weidinger, Inioluwa Deborah Raji, Hanna Wallach, Margaret Mitchell, Angelina Wang, Olawale Salaudeen, Rishi Bommasani, Deep Ganguli, Sanmi Koyejo, William Isaac
개요
본 논문은 실세계 배포 환경에서 생성형 AI 시스템의 성능과 안전성을 예측하고 이해해야 할 필요성이 증가하고 있음을 강조한다. 현재의 평가 생태계는 정적 벤치마크의 타당성 문제와 임시적인 사례별 감사의 확장성 부족으로 부족하다고 지적하며, 생성형 AI 시스템에 대한 평가 과학의 성숙을 옹호한다. 교통, 항공 우주, 제약 공학 등 다른 분야의 안전 평가 관행 개발에서 얻은 통찰력을 바탕으로, 실제 성능에 적용 가능한 측정 지표, 반복적인 지표 개선, 평가 기관 및 규범 확립이라는 세 가지 주요 교훈을 제시하고, 이러한 통찰력을 적용하여 생성형 AI 시스템을 더욱 엄격하게 평가하는 구체적인 방안을 제시한다.
시사점, 한계점
•
시사점:
◦
생성형 AI 시스템의 안전하고 신뢰할 수 있는 배포를 위한 엄격한 평가 프레임워크 개발의 필요성을 강조한다.
◦
다른 분야의 안전 평가 관행에서 얻은 교훈을 생성형 AI 평가에 적용할 수 있는 가능성을 제시한다.
◦
실세계 성능에 적용 가능하고 반복적으로 개선되는 측정 지표 및 평가 기관 및 규범의 중요성을 강조한다.
•
한계점:
◦
제시된 구체적인 평가 방안의 실제 적용 가능성 및 효과에 대한 추가적인 연구가 필요하다.
◦
다양한 유형의 생성형 AI 시스템에 대한 포괄적인 평가 방법론 개발이 필요하다.
◦
평가 기관 및 규범의 확립을 위한 구체적인 로드맵과 사회적 합의 도출 과정에 대한 논의가 부족하다.
