Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SuperARC: An Agnostic Test for Narrow, General, and Super Intelligence Based On the Principles of Recursive Compression and Algorithmic Probability

Created by
  • Haebom

저자

Alberto Hernandez-Espinosa, Luan Ozelim, Felipe S. Abrahao, Hector Zenil

개요

본 논문은 인공 일반 지능(AGI) 및 초지능(ASI)에 대한 주장과 관련하여 최첨단 모델의 정량적 평가에서 벤치마크 오염을 피할 수 있는 알고리즘 확률에 기반한 개방형 테스트를 제시합니다. 기존 테스트와 달리, 섀넌 엔트로피와 밀접하게 관련되어 단순 패턴 매칭 이상을 테스트할 수 없는 GZIP이나 LZW와 같은 통계적 압축 방법에 의존하지 않습니다. 이 테스트는 역문제 맥락에서 합성 및 모델 생성과 같은 근본적인 지능 특징과 관련하여 AI, 특히 LLM에 대한 과제를 제시합니다. 모델 추상화 및 귀납(최적 베이지안 추론)에 기반한 예측적 계획을 위한 지표가 자연 지능(인간과 동물), 협소 AI, AGI 및 ASI를 포함한 지능 테스트를 위한 견고한 프레임워크를 제공할 수 있다고 주장합니다. LLM 모델 버전은 주로 암기의 결과로 취약하고 증분적이며, 진전은 주로 훈련 데이터의 크기에 의해 이루어지는 경향이 있음을 발견했습니다. 알고리즘 확률과 콜모고로프 복잡성의 원리에 기반하여 이론적으로 보편적 지능을 보장하는 하이브리드 신경기호 접근 방식과 결과를 비교했습니다. 짧은 이진 시퀀스에 대한 개념 증명에서 이 방법이 LLM보다 성능이 우수함을 증명했습니다. 압축은 시스템의 예측력과 동등하고 직접적으로 비례한다는 것을 증명했습니다. 즉, 시스템이 더 잘 예측할 수 있다면 더 잘 압축할 수 있으며, 더 잘 압축할 수 있다면 더 잘 예측할 수 있습니다. 이러한 결과는 LLM의 근본적인 한계에 대한 의혹을 강화하여 인간 언어에 대한 숙달 인식을 위해 최적화된 시스템으로 노출합니다.

시사점, 한계점

시사점:
AGI/ASI 평가를 위한 새로운 벤치마크 테스트 제시
LLM의 한계(암기 중심, 인간 언어 숙달 인식 최적화)를 드러냄
압축과 예측 능력 간의 상관관계 증명
하이브리드 신경기호 접근 방식의 우수성 제시
한계점:
개념 증명은 짧은 이진 시퀀스에 한정됨. 더 복잡한 데이터셋으로의 확장성 검증 필요.
제안된 테스트의 범용성 및 일반화 가능성에 대한 추가 연구 필요.
하이브리드 신경기호 접근 방식의 실제 구현 및 확장성에 대한 추가 연구 필요.
👍