본 논문은 다중 모달 대규모 언어 모델(MLLM)의 추론 능력 향상을 위해 오류 기반 학습을 체계적으로 구조화하는 새로운 프레임워크인 REFINE(Retrieval-Enhanced Feedback via In-context Neural Error-book)을 제안합니다. REFINE은 'Feed-Target', 'Feed-Check', 'Feed-Path' 세 가지 질의를 통해 구조화된 피드백을 생성하여 관련 시각 정보의 우선순위 지정, 중요한 실패 지점 진단, 수정 조치 공식화를 수행합니다. 기존의 중복된 검색에 의존하는 접근 방식과 달리, REFINE은 구조화된 피드백 검색을 최적화하여 추론 효율성, 토큰 사용량 및 확장성을 개선합니다. 실험 결과, REFINE은 속도 향상, 계산 비용 감소 및 성공적인 일반화를 보여주어 MLLM의 다중 모달 추론 향상에 대한 잠재력을 강조합니다.
