Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FaithAct: Faithfulness Planning and Acting in MLLMs

Created by
  • Haebom
Category
Empty

저자

Junxian Li, Xinyue Xu, Sai Ma, Sichao Li

개요

대형 언어 모델(LLM)의 불성실성 문제를 해결하기 위해, 행동적 성실성(추론과 출력 간의 정렬)과 지각적 성실성(추론과 입력 간의 정렬)을 구분하고, 이미지 내에서 각 객체의 시각적 지원 여부를 평가하여 단계별 및 체인 레벨의 성실성을 정량화하는 FaithEval을 소개합니다. 이를 기반으로, 각 추론 단계에서 증거 기반의 근거를 강제하는 성실성 우선 계획 및 실행 프레임워크인 FaithAct를 제안합니다. 다양한 추론 벤치마크 실험에서 FaithAct는 프롬프트 기반 및 도구 보강 기준선에 비해 작업 정확도를 저하시키지 않으면서 지각적 성실성을 최대 26%까지 향상시켰습니다.

시사점, 한계점

시사점:
FaithEval을 통해 다중 모드 추론에서 단계별 및 체인 레벨의 성실성을 정량적으로 평가할 수 있습니다.
FaithAct 프레임워크는 성실성을 우선시하여 환각을 완화하고 보다 안정적인 추론 궤적을 이끌어냅니다.
FaithAct는 작업 정확도를 저하시키지 않고 지각적 성실성을 향상시킵니다.
한계점:
논문에 구체적인 한계점에 대한 언급은 없습니다.
👍