The 2024 Foundation Model Transparency Index
Created by
- Haebom
Category
Empty
저자
Rishi Bommasani, Kevin Klyman, Sayash Kapoor, Shayne Longpre, Betty Xiong, Nestor Maslej, Percy Liang
개요
본 논문은 2023년 10월에 출범한 Foundation Model Transparency Index (FMTI)를 활용하여 주요 기초 모델 개발자들의 투명성을 측정한 연구의 후속 연구 결과를 제시합니다. 2023년 연구에서는 10개 기업을 대상으로 100개의 투명성 지표를 평가하여 평균 37점을 기록했으나, 6개월 후인 2024년 연구에서는 14개 기업을 대상으로 동일한 지표를 평가하여 평균 58점으로 21점 향상된 결과를 보였습니다. 이러한 향상은 개발자들이 FMTI 2024 과정에서 이전에 공개되지 않았던 정보를 공개한 데 기인하며, 평균적으로 16.6개의 새로운 지표에 대한 정보가 공개되었습니다. 그러나 저작권 상태, 데이터 접근, 데이터 노동, 파급 효과 등의 영역에서는 여전히 투명성이 부족한 것으로 나타났습니다. 본 연구는 각 개발자에 대한 투명성 보고서를 발표하며, 투명성 개선 가능성과 정책적 개입의 필요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
기초 모델 개발자들의 투명성이 향상될 수 있음을 보여줌.
◦
FMTI가 개발자들의 투명성 향상에 기여할 수 있음을 시사.
◦
저작권 상태, 데이터 접근, 데이터 노동, 파급 효과 등의 영역에서 정책적 개입이 필요함을 강조.
◦
개발자들이 자발적으로 투명성을 높이도록 유도하는 메커니즘의 효과를 보여줌.
•
한계점:
◦
FMTI 2024는 개발자의 자가 보고에 의존하여 객관성에 대한 우려가 존재할 수 있음.
◦
평가 지표의 포괄성 및 측정 방식의 개선 필요성.
◦
특정 영역에서의 지속적인 불투명성에 대한 추가적인 분석 및 해결책 모색 필요.
◦
참여 기업의 수가 제한적일 수 있음. (10개에서 14개로 증가했지만, 전체 기초 모델 개발자를 대표하지 못할 수 있음)
