자기회귀 모델은 시퀀스 생성 작업에서 사실상 표준이 되었지만, 기존 방법들은 숫자를 독립적인 토큰으로 취급하고 교차 엔트로피 손실을 적용하여 숫자 시퀀스의 일관된 구조를 간과합니다. 본 논문에서는 이러한 간극을 해결하기 위해 숫자 토큰 무결성 손실(NTIL)을 제시합니다. NTIL은 두 가지 수준에서 작동합니다. (1) 토큰 수준에서는 지구 이동 거리(EMD)를 확장하여 숫자 값 사이의 순서 관계를 보존하고, (2) 시퀀스 수준에서는 예측된 시퀀스와 실제 시퀀스 간의 전체적인 불일치에 대해 페널티를 부과합니다. 이러한 이중 접근 방식은 숫자 예측을 개선하고 LLMs/MLLMs와 효과적으로 통합됩니다. 광범위한 실험을 통해 NTIL을 사용하면 성능이 크게 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
숫자 시퀀스의 일관된 구조를 고려하여 숫자 예측 성능을 향상시키는 새로운 손실 함수 NTIL 제시
◦
토큰 수준과 시퀀스 수준에서의 이중 접근 방식을 통해 더욱 정확한 숫자 시퀀스 생성 가능
◦
LLMs/MLLMs와의 효과적인 통합을 통해 다양한 응용 분야에 적용 가능성 제시
◦
광범위한 실험을 통해 NTIL의 성능 향상을 실증적으로 입증
•
한계점:
◦
NTIL의 성능 향상이 특정 데이터셋이나 모델에 국한될 가능성 존재
◦
EMD의 계산 복잡도로 인해 대규모 데이터셋이나 시퀀스에 대한 적용에 제약이 있을 수 있음
