본 논문은 트랜스포머와 같은 시퀀스 모델이 이미지를 1차원 시퀀스로 변환하는 과정에서, 기존의 row-major 방식이 모델 성능에 영향을 미치는 문제점을 제기합니다. 특히, 장긴 시퀀스 트랜스포머에서 사용되는 근사 알고리즘은 패치 순서에 민감하게 반응하며, column-major 또는 Hilbert curve와 같은 간단한 대안만으로도 정확도에 큰 변화가 생김을 보여줍니다. 이에 따라, 본 논문에서는 작업에 최적화된 패치 순서를 찾는 REOrder라는 2단계 프레임워크를 제안합니다. 첫 번째 단계에서는 다양한 패치 시퀀스의 압축성을 평가하여 정보 이론적 사전 확률을 도출하고, 두 번째 단계에서는 REINFORCE를 사용하여 Plackett-Luce 정책을 최적화하여 순열에 대한 정책을 학습합니다. ImageNet-1K와 Functional Map of the World 데이터셋에서 row-major 방식보다 최대 3.01%와 13.35%의 상위 1% 정확도 향상을 달성했습니다.
