Deep Reinforcement Learning Agents are not even close to Human Intelligence
Created by
Haebom
저자
Quentin Delfosse, Jannis Bluml, Fabian Tatai, Theo Vincent, Bjarne Gregori, Elisabeth Dillies, Jan Peters, Constantin Rothkopf, Kristian Kersting
개요
본 논문은 심층 강화 학습(RL) 에이전트가 다양한 작업에서 인상적인 결과를 달성하지만 제로샷 적응 능력이 부족하다는 문제를 다룹니다. 기존의 강건성 평가는 인간도 성능 유지에 어려움을 겪는 복잡한 작업에 초점을 맞추었지만, 작업의 단순화에 대한 평가는 수행되지 않았습니다. 이 문제를 해결하기 위해, 본 논문은 아케이드 학습 환경의 작업 변형 세트인 HackAtari를 제시합니다. HackAtari를 사용하여, 인간과 달리 RL 에이전트는 훈련 작업의 단순화된 버전에서 성능이 크게 저하되는 현상을 보이며, 에이전트가 지름길에 의존하는 경향을 보임을 보여줍니다. 다양한 알고리즘과 아키텍처에 대한 분석을 통해 RL 에이전트와 인간의 행동 지능 간의 지속적인 차이를 강조하고, 정적 평가 프로토콜을 넘어 체계적인 일반화 테스트를 강화하는 새로운 벤치마크와 방법론의 필요성을 강조합니다. 동일한 환경에서의 훈련과 테스트만으로는 인간과 유사한 지능을 갖춘 에이전트를 얻을 수 없음을 보여줍니다.
시사점, 한계점
•
시사점: RL 에이전트의 제로샷 적응 능력 부족을 밝히고, 인간과 RL 에이전트 간 지능 차이를 강조합니다. HackAtari는 RL 에이전트의 일반화 능력을 평가하는 새로운 벤치마크로 활용될 수 있습니다. 정적 평가 프로토콜을 넘어선 체계적인 일반화 테스트의 중요성을 부각합니다.
•
한계점: HackAtari는 아케이드 게임에 국한된 벤치마크이며, 다른 도메인으로의 일반화 가능성은 추가 연구가 필요합니다. 인간과 RL 에이전트의 지능 차이에 대한 더욱 심층적인 분석이 필요합니다. 단순화된 작업에 대한 성능 저하의 원인에 대한 더욱 상세한 분석이 필요합니다.
