본 논문은 대규모 언어 모델(LLM)과 시각 언어 모델(VLM)의 발전이 로봇공학에 미치는 영향, 특히 고수준 의미적 동작 계획 응용 분야에 대한 연구를 다룬다. 강화학습(RL)을 보완적인 패러다임으로 사용하여 에이전트가 상호 작용과 보상 신호를 통해 복잡한 행동을 자율적으로 최적화하도록 한다. 하지만 실제 작업 환경에서 희소 보상은 부적절하고 밀집 보상은 복잡한 설계를 필요로 하기 때문에 효과적인 보상 함수를 설계하는 것은 여전히 어려운 과제이다. 이를 해결하기 위해 본 논문에서는 사전 훈련된 LLM인 GPT-4를 활용하여 자연어 작업 설명으로부터 직접 보상 함수를 생성하는 비지도 학습 파이프라인인 ARCHIE(Autonomous Reinforcement learning for Complex Human-Informed Environments)를 제안한다. 생성된 보상 함수는 시뮬레이션 환경에서 RL 에이전트를 훈련하는 데 사용되며, 보상 생성 과정을 공식화하여 실행 가능성을 높였다. 또한 GPT-4는 작업 성공 기준의 코딩을 자동화하여 사람이 읽을 수 있는 텍스트를 배포 가능한 로봇 기술로 변환하는 완전 자동화된 원샷 절차를 구현한다. ABB YuMi 협업 로봇을 사용한 단일 암 및 양손 조작 작업에 대한 광범위한 시뮬레이션 실험을 통해 접근 방식의 실용성과 효과를 검증하고, 실제 로봇 설정에서 작업을 시연한다.
