Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enabling Self-Improving Agents to Learn at Test Time With Human-In-The-Loop Guidance

Created by
  • Haebom

저자

Yufei He, Ruoyu Li, Alex Chen, Yue Liu, Yulin Chen, Yuan Sui, Cheng Chen, Yi Zhu, Luca Luo, Frank Yang, Bryan Hooi

ARIA: Adaptive Reflective Interactive Agent

개요

본 논문은 규칙 및 도메인 지식이 빈번하게 변경되는 환경에서 대규모 언어 모델 (LLM) 에이전트가 겪는 어려움을 해결하기 위해 제안된 Adaptive Reflective Interactive Agent (ARIA) 프레임워크에 대해 설명합니다. ARIA는 테스트 시간 동안 지속적으로 업데이트된 도메인 지식을 학습하도록 설계되었으며, 구조화된 자기 대화를 통해 자체 불확실성을 평가하고, 지식 격차를 식별하며, 인간 전문가에게 목표 설명 또는 수정을 요청합니다. 제공된 인간 지침으로 내부, 타임스탬프가 지정된 지식 저장소를 체계적으로 업데이트하고, 비교 및 설명 쿼리를 통해 충돌하거나 오래된 지식을 감지하고 해결합니다. TikTok Pay의 고객 실사 이름 검사 작업과 공개적으로 사용 가능한 동적 지식 작업에서 ARIA를 평가한 결과, 표준 오프라인 미세 조정 및 기존 자체 개선 에이전트를 사용하는 기본 모델보다 적응성과 정확성이 크게 향상되었습니다. ARIA는 1억 5천만 명 이상의 월간 활성 사용자를 대상으로 하는 TikTok Pay에 배포되어 급변하는 환경에서 운영 사용에 대한 실용성과 효과를 입증했습니다.

시사점, 한계점

시사점:
ARIA는 변화하는 환경에서 LLM 에이전트의 적응성을 향상시키는 새로운 접근 방식을 제시합니다.
ARIA는 자체 불확실성을 평가하고 인간 전문가의 지식을 활용하여 지식을 업데이트하는 능력을 보여줍니다.
ARIA는 실제 환경인 TikTok Pay에 성공적으로 배포되어 실용성을 입증했습니다.
한계점:
ARIA의 성능은 인간 전문가의 도움에 의존합니다.
ARIA의 효율성은 내부 지식 저장소의 관리 및 업데이트 방식에 따라 달라집니다.
ARIA의 일반화 능력은 다양한 환경에 적용되었을 때 추가적인 평가가 필요합니다.
👍