Flow of Spans: Generalizing Language Models to Dynamic Span-Vocabulary via GFlowNets

Created by

Haebom

저자

Bo Xue, Yunchong Song, Fanghao Shao, Xuekai Zhu, Lin Chen, Luoyi Fu, Xinbing Wang, Zhouhan Lin

💡 개요

기존의 단어 단위 자동회귀 언어 모델은 고정된 어휘 집합을 사용하며 트리 구조의 상태 공간을 가지지만, 본 논문은 가변적인 길이의 텍스트 스팬을 활용하여 동적이고 DAG(Directed Acyclic Graph) 구조의 상태 공간을 갖는 새로운 스팬 생성 프레임워크인 Flow of SpanS(FoSs)를 제안합니다. FoSs는 Generative Flow Networks(GFlowNets)를 활용하여 다양한 스팬 조합 경로를 탐색하고 표현력을 높이며, 이를 통해 텍스트 생성 성능을 크게 향상시킵니다.

🔑 시사점 및 한계

•

동적 스팬 어휘 및 DAG 상태 공간 모델링: 텍스트를 다양한 길이의 스팬으로 유연하게 분할하여 기존의 트리 구조를 넘어선 DAG 구조를 효과적으로 모델링함으로써, 언어 모델의 탐색 능력을 확장하고 표현력을 증진시킵니다.

•

GFlowNets의 새로운 적용 및 성능 향상: GFlowNets를 스팬 생성에 성공적으로 적용하여, 텍스트 생성 작업에서 MAUVE 점수를 최대 12.5% 향상시키고 지식 집약적 과제에서는 3.5%의 성능 향상을 달성했습니다.

•

확장성 및 견고성: 모델 크기, 데이터 양, 검색 코퍼스의 풍부함 증가에 따라 FoSs의 이점이 유지되며, 강력한 baseline 모델들을 일관되게 능가하는 확장성을 보여줍니다.

•

스팬 분할의 복잡성 및 계산 비용: 스팬 분할 과정의 복잡성과 이에 따른 추가적인 계산 비용 발생 가능성이 있으며, 다양한 언어 및 도메인에서의 일반화 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage