Kunyu Shi, Qi Dong, Luis Goncalves, Zhuowen Tu, Stefano Soatto
개요
본 논문은 시퀀스-투-시퀀스 비전-언어 모델의 추론 지연 시간 문제를 해결하기 위해 병렬 디코딩 방식을 제안합니다. 자동 회귀 방식 대신 쿼리-CTC 손실 함수를 사용하여 훈련된 모델 NARVL은 디코더 내 여러 추론 경로를 고려하여 토큰의 결합 분포를 모델링합니다. 이는 자동 회귀 모델의 조건부 분포 제한을 극복하여, 최첨단 자동 회귀 모델과 유사한 성능을 유지하면서 추론 시간을 선형 복잡도에서 상수 시간 복잡도로 단축합니다.
시사점, 한계점
•
시사점:
◦
시퀀스-투-시퀀스 비전-언어 모델의 추론 속도를 획기적으로 향상시킬 수 있는 새로운 병렬 디코딩 방법 제시.
◦
자동 회귀 모델과 비교하여 성능 저하 없이 추론 시간을 단축.
◦
토큰의 결합 분포를 모델링함으로써 더욱 효율적인 비전-언어 모델링 가능성 제시.
•
한계점:
◦
제안된 Query-CTC 손실 함수 및 병렬 디코딩 방식의 일반화 가능성에 대한 추가 연구 필요.
