자기회귀 모델은 시퀀스 생성 작업에서 사실상 표준이 되었지만, 기존 접근 방식은 숫자를 독립적인 토큰으로 취급하고 교차 엔트로피 손실을 적용하여 숫자 시퀀스의 일관된 구조를 간과합니다. 본 논문에서는 이러한 간극을 해결하기 위해 숫자 토큰 무결성 손실(Numerical Token Integrity Loss, NTIL)을 제안합니다. NTIL은 두 가지 수준에서 작동합니다. (1) 토큰 수준에서는 Earth Mover's Distance (EMD)를 확장하여 숫자 값 사이의 순서 관계를 보존하고, (2) 시퀀스 수준에서는 예측된 시퀀스와 실제 시퀀스 간의 전체적인 불일치에 대해 페널티를 부과합니다. 이러한 이중 접근 방식은 숫자 예측을 개선하고 LLMs/MLLMs와 효과적으로 통합됩니다. 광범위한 실험을 통해 NTIL을 사용하면 성능이 크게 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
숫자 시퀀스의 구조적 특징을 고려하여 숫자 예측 성능을 향상시키는 새로운 손실 함수 NTIL 제안.
