LVLM(Large Vision-Language Model)은 VQA, 캡션 등 이미지 레벨의 작업에서는 뛰어난 성능을 보이지만, visual grounding 및 object detection과 같은 인스턴스 레벨 작업에서는 기존 전문 모델보다 성능 격차를 보인다. 본 논문에서는 LVLM의 강점을 활용하여, 추적, 참조 기반 추적, 그리고 추적 객체의 의미 이해를 상호 작용적으로 수행할 수 있는 새로운 통합 보행자 추적 프레임워크인 OmniPT를 제안한다. 모델이 추적 작업을 수행하도록 모델링하고, 형식화된 답변을 출력하도록 하기 위해 RL-Mid Training-SFT-RL의 훈련 단계를 구현한다. 사전 훈련된 LVLM 가중치를 기반으로, 고정된 bounding box 형식을 출력하도록 하는 RL 단계, 보행자 관련 데이터셋을 사용한 중간 훈련 단계, 보행자 추적 데이터셋에 대한 지도 학습 미세 조정 단계, 그리고 추적 성능 향상 및 지침 준수 능력 향상을 위한 추가 RL 단계를 수행한다. 실험 결과는 제안된 방법이 기존 방법보다 우수한 성능을 보임을 보여준다.
