HiCI: Hierarchical Construction-Integration for Long-Context Attention
작성자
카테고리
खाली
저자
Xiangyu Zeng, Qi Xu, Yunke Wang, Chang Xu
💡 개요
본 논문은 긴 문맥의 언어 모델링에서 발생하는 확장성 문제를 해결하기 위해, 명시적인 계층적 구조화 접근법인 HiCI(Hierarchical Construction-Integration)를 제안합니다. HiCI는 세그먼트 수준의 표현을 구축하고 이를 전역 컨텍스트로 통합한 후, 이 정보를 다시 세그먼트 수준의 어텐션에 반영하여 효율적인 정보 처리를 가능하게 합니다. LLaMA-2 모델에 <5.5%의 파라미터만을 추가하여 컨텍스트 길이를 100K 토큰까지 확장하고, 다양한 벤치마크에서 기존 모델 대비 우수한 성능을 달성했습니다.
🔑 시사점 및 한계
•
명시적인 계층적 구조화는 긴 문맥을 효과적으로 처리하는 데 강력한 귀납적 편향(inductive bias)으로 작용할 수 있습니다.
•
HiCI는 기존 언어 모델의 파라미터 효율성을 유지하면서도 긴 문맥 처리 능력을 크게 향상시킬 수 있습니다.
•
제안된 방법론의 일반적인 적용 가능성 및 다른 모델 아키텍처에서의 효과에 대한 추가적인 연구가 필요합니다.
