본 논문은 실세계 배포를 위해, 특히 위험한 지시가 많은 가정 환경에서, 작업 계획 중 구체화된 AI 에이전트의 안전성을 확보하는 데 중점을 둡니다. MADRA(Multi-Agent Debate Risk Assessment)라는 훈련이 필요 없는 프레임워크를 제안하여, 작업 성능 저하 없이 안전 인식을 향상시킵니다. 여러 LLM 기반 에이전트가 지시의 안전성에 대해 논쟁하고, 핵심 평가자가 논리적 타당성, 위험 식별, 증거 품질, 명확성을 기반으로 응답을 평가합니다. 반복적인 심의와 합의 투표를 통해 MADRA는 잘못된 거부를 줄이고 위험한 작업에 대한 높은 민감도를 유지합니다. 또한, 안전, 기억, 계획, 자체 진화 메커니즘을 통합하여 지속적인 학습을 통해 작업 성공률을 향상시키는 계층적 인지 협업 계획 프레임워크를 도입했습니다. VirtualHome에서 안전 인식 작업 계획을 위한 800개의 주석이 달린 지침이 포함된 SafeAware-VH 벤치마크 데이터 세트도 제공합니다. AI2-THOR 및 VirtualHome에 대한 광범위한 실험을 통해 제안된 접근 방식은 안전한 작업 거부를 낮게 유지하면서, 안전하지 않은 작업의 90% 이상을 거부하며, 안전성과 실행 효율성 모두에서 기존 방법을 능가함을 보여줍니다.
