How to Train Your Long-Context Visual Document Model

Created by

Haebom

저자

Austin Veselka

💡 개요

본 연구는 344K 컨텍스트 길이까지 지원하는 장문 문서 시각 질의응답 모델의 대규모 학습 방법을 최초로 포괄적으로 연구합니다. 재현 불가능했던 기존 모델들의 학습 방식을 재현하기 위해, 24B 및 32B 파라미터 모델에 대한 지속적인 사전 학습, 지도 학습 미세 조정, 선호도 최적화 기법을 체계적으로 탐구했습니다. 이를 통해 MMLongBenchDoc에서 최고 수준의 성능을 달성했으며, 장문 문서 처리에서 텍스트 기반 모델로의 전이 학습을 시각 모델로 확장했습니다.

🔑 시사점 및 한계

•

평가 컨텍스트 길이와 동일한 길이로 학습하는 것이 더 긴 길이로 학습하는 것보다 우수한 성능을 보입니다.

•

페이지 인덱스를 학습 및 평가에 활용하는 것은 장문 문서 성능 향상에 효과적입니다.

•

합성 데이터 파이프라인은 지속적인 사전 학습 및 지도 학습 미세 조정을 통해 모델의 자체 개선을 가능하게 합니다.

•

텍스트에서 시각으로의 장문 컨텍스트 전이가 역으로 시각에서 텍스트로도 전이됨을 입증했습니다.

•

MMLongBenchDoc의 오류 및 저품질 예제를 줄인 MMLBD-C 데이터셋을 공개합니다.

PDF 보기

Made with Slashpage