# HiCI: Hierarchical Construction-Integration for Long-Context Attention

### 저자

Xiangyu Zeng, Qi Xu, Yunke Wang, Chang Xu

### 💡 개요

본 논문은 긴 컨텍스트 언어 모델링의 확장성 문제를 해결하기 위해 계층적 주의 메커니즘인 HiCI (Hierarchical Construction-Integration)를 제안합니다. HiCI는 세그먼트 수준의 표현을 구성하고, 이를 전역 컨텍스트로 통합한 후, 다시 세그먼트 수준의 주의를 조건화하는 데 활용합니다. LLaMA-2 모델에 적은 수의 추가 파라미터로 적용한 결과, 모델의 컨텍스트 길이를 크게 확장하면서도 언어 모델링, 검색, 명령어 수행 등 다양한 벤치마크에서 기존 모델 대비 우수한 성능을 보였습니다.

### 🔑 시사점 및 한계

- 명시적인 계층적 구조화가 긴 컨텍스트 모델링에서 강력한 유도 편향(inductive bias)으로 작용할 수 있음을 입증했습니다.

- 적은 파라미터로도 기존 모델 대비 뛰어난 성능 향상을 달성하여, 효율적인 장문 컨텍스트 모델링 가능성을 제시합니다.

- 본 연구는 인지 이론에 기반하여 장문 이해를 위한 효과적인 신경망 구조 설계에 대한 새로운 방향을 제시합니다.

- (한계점 또는 향후 과제) HiCI 모듈의 계산 복잡성 증가와 특정 태스크에 대한 최적화 방안에 대한 추가적인 연구가 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2603.20843)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).