본 논문은 다중 모달 대규모 언어 모델(MLLM)의 추론 능력 향상을 위한 새로운 프레임워크인 REFINE(Retrieval-Enhanced Feedback via In-context Neural Error-book)을 제안합니다. REFINE은 오류로부터의 학습에 중점을 두고, Feed-Target, Feed-Check, Feed-Path 세 가지 체계적인 질의를 통해 구조화된 피드백을 제공하여 시각 정보의 우선순위 지정, 실패 원인 진단, 수정 조치 수립을 지원합니다. 기존의 중복된 검색에 의존하는 방법들과 달리, REFINE은 구조화된 피드백 검색을 최적화하여 추론 효율성, 토큰 사용량 및 확장성을 개선합니다. 실험 결과, REFINE은 속도 향상, 계산 비용 감소 및 성공적인 일반화를 보여주어 MLLM의 다중 모달 추론 능력 향상에 대한 잠재력을 입증합니다.
