Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Measuring AI Ability to Complete Long Tasks

Created by
  • Haebom
Category
Empty

저자

Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkovic, Luke Harold Miles, Seraphina Nix, Tao Lin, Neev Parikh, David Rein, Lucas Jun Koba Sato, Hjalmar Wijk, Daniel M. Ziegler, Elizabeth Barnes, Lawrence Chan

개요

본 논문은 AI 시스템의 성능을 인간의 능력과 비교하여 정량화하기 위한 새로운 지표인 '50%-task-completion time horizon'을 제안합니다. 이 지표는 AI 모델이 50%의 성공률로 완료할 수 있는 작업을 인간이 완료하는 데 걸리는 시간을 의미합니다. 연구진은 RE-Bench, HCAST, 그리고 66개의 새로운 단기 작업을 결합하여 관련 분야 전문가들이 작업을 완료하는 데 걸리는 시간을 측정했습니다. 그 결과, Claude 3.7 Sonnet과 같은 최첨단 AI 모델의 50% time horizon은 약 50분으로 나타났습니다. 또한, 2019년 이후 최첨단 AI의 time horizon은 약 7개월마다 두 배씩 증가해왔지만, 2024년에는 그 추세가 가속화되었을 가능성이 있습니다. AI 모델의 time horizon 증가는 주로 신뢰성 향상, 실수에 대한 적응력 향상, 논리적 추론 및 도구 사용 능력 향상에 의해 주도되는 것으로 보입니다. 논문은 외부 타당성을 포함한 결과의 한계와 위험한 능력에 대한 자율성 증가의 의미에 대해 논의합니다. 이러한 결과가 실제 소프트웨어 작업으로 일반화된다면, 이 추세를 외삽하면 5년 이내에 AI 시스템이 현재 인간이 한 달 걸리는 많은 소프트웨어 작업을 자동화할 수 있을 것으로 예측됩니다.

시사점, 한계점

•
시사점:
◦
AI 성능을 인간의 능력과 직접적으로 비교할 수 있는 새로운 지표 제시
◦
AI의 능력 향상 속도를 정량적으로 보여줌 (7개월마다 2배 성능 향상)
◦
5년 이내에 많은 소프트웨어 작업 자동화 가능성 제시
◦
AI 발전의 주요 원동력으로 신뢰성, 적응력, 논리적 추론 및 도구 사용 능력 향상을 제시
•
한계점:
◦
결과의 외부 타당성 (실제 세계 작업으로의 일반화 가능성)에 대한 논의 필요
◦
위험한 능력에 대한 자율성 증가의 의미에 대한 추가적인 연구 필요
◦
제한된 작업 범위 (RE-Bench, HCAST, 66개의 새로운 단기 작업)
👍
Made with Slashpage