본 논문은 대규모 언어 모델(LLM)과 시각 언어 모델(VLM)의 발전이 로봇 공학에 미치는 영향, 특히 고수준 의미적 동작 계획 애플리케이션에 대한 연구를 다룹니다. 강화 학습(RL)을 보완적인 방법으로 활용하여 에이전트가 상호 작용과 보상 신호를 통해 복잡한 행동을 자율적으로 최적화할 수 있도록 합니다. 하지만 실제 작업 환경에서 희소 보상의 부족과 밀집 보상 설계의 어려움으로 인해 효과적인 보상 함수 설계가 어려운 점을 해결하고자, 자연어 작업 설명으로부터 직접 보상 함수를 생성하는 비지도 학습 파이프라인인 ARCHIE를 제안합니다. GPT-4를 활용하여 보상 생성 과정을 공식화하고 작업 성공 기준의 코딩을 자동화하여, 사람이 읽을 수 있는 텍스트를 배포 가능한 로봇 기술로 변환하는 완전 자동화된 원샷 절차를 구현합니다. ABB YuMi 협업 로봇을 사용한 단일 암 및 양손 조작 작업에 대한 광범위한 시뮬레이션 실험을 통해 실용성과 효과를 검증하고 실제 로봇 설정에서 작업을 시연합니다.
