Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Safety Aware Task Planning via Large Language Models in Robotics

Created by
  • Haebom
Category
Empty

저자

Azal Ahmad Khan, Michael Andrev, Muhammad Ali Murtaza, Sergio Aguilera, Rui Zhang, Jie Ding, Seth Hutchinson, Ali Anwar

개요

본 논문은 대규모 언어 모델(LLM) 기반 로봇 작업 계획에서 안전성을 확보하기 위한 새로운 프레임워크인 SAFER(Safety-Aware Framework for Execution in Robotics)를 제안합니다. SAFER는 주요 작업 계획자와 함께 작동하여 안전 피드백을 제공하는 안전 에이전트를 사용합니다. 또한, LLM을 평가자로 활용하여 생성된 작업 계획 내의 안전 위반을 정량화하는 새로운 지표인 LLM-as-a-Judge를 도입합니다. 실행 단계마다 안전 피드백을 통합하여 실시간 위험 평가, 사전 오류 수정 및 투명한 안전 평가를 가능하게 합니다. 제어 장벽 함수(CBFs)를 사용하는 제어 프레임워크를 통합하여 SAFER의 작업 계획 내에서 안전을 보장합니다. 다양한 로봇 에이전트를 포함하는 복잡한 장기 작업에서 최첨단 LLM 계획자와 비교하여 평가하여 안전 위반을 줄이면서 작업 효율성을 유지하는 효과를 보였으며, 실제 다중 로봇 및 사람이 참여하는 하드웨어 실험을 통해 작업 계획자와 안전 계획자를 검증했습니다.

시사점, 한계점

시사점:
LLM 기반 로봇 작업 계획에서 안전성을 향상시키는 효과적인 프레임워크인 SAFER 제시.
LLM-as-a-Judge를 활용한 객관적인 안전 위반 측정 및 평가 가능.
실시간 위험 평가, 사전 오류 수정, 투명한 안전 평가 기능 제공.
CBFs를 통한 안전 보장 및 실제 로봇 실험을 통한 검증.
복잡한 장기 작업 및 다중 로봇 환경에서의 안전성 향상.
한계점:
LLM-as-a-Judge의 정확성 및 일반화 성능에 대한 추가적인 연구 필요.
다양한 유형의 안전 위반에 대한 SAFER의 로버스트성 평가 필요.
실제 환경의 복잡성 및 예측 불가능성을 완벽히 고려하지 못할 가능성.
CBFs의 한계로 인한 안전 보장의 제약 존재 가능성.
SAFER 프레임워크의 계산 비용 및 효율성에 대한 더 자세한 분석 필요.
👍