본 논문은 대규모 DNA 언어 모델(LLM)의 사용을 제한하는 두 가지 주요 제약 조건(자기 주의의 2차 계산 비용 및 자동 회귀 디코딩 중 키-값(KV) 캐시에 필요한 메모리 증가)을 해결하기 위해 개발된 FOCUS(Feature-Oriented Compression for Ultra-long Self-attention)라는 점진적 컨텍스트 압축 모듈을 소개합니다. FOCUS는 k-mer 표현과 학습 가능한 계층적 압축을 결합하여, 요약 토큰을 삽입하고 여러 Transformer 레이어에서 주의 키 및 값 활성화를 점진적으로 압축하여 장거리 정보를 최소 손실로 전파합니다. Evo-2 기반 DNA LLM에 적용하여 GRCh38 염색체 1에 대해 자체 지도 학습으로 미세 조정하고 압축 비율 전반에 걸쳐 견고성을 촉진하기 위해 무작위 압축 일정을 사용했습니다. 이를 통해 1kb 컨텍스트를 10개의 요약 토큰으로 압축할 때 거의 손실 없는 충실도를 달성하고, KV 캐시 메모리를 줄이며, O(N^2)에서 거의 선형인 O(N)으로 효과적인 추론 확장을 전환하여, 상용 GPU에서 거의 손실 없는 충실도로 약 100배 더 긴 추론 윈도우를 가능하게 합니다.
