H-Probes: Extracting Hierarchical Structures From Latent Representations of Language Models

Fri, 08 May 2026 10:42:18 GMT

### 저자

Cutter Dawes, Aryan Sharma, Angelos Ioannis Lagos, Shivam Raval

### 💡 개요

본 논문은 대규모 언어 모델(LLM)의 잠재 표현 공간에서 계층적 구조를 추출하기 위한 선형 프로브인 H-probes를 제안합니다. H-probes는 트리 순회와 같은 인공적인 작업에서 계층적 구조를 성공적으로 추출하며, 이러한 구조가 모델의 성능에 중요하고 저차원적임을 입증합니다. 또한, 실제 수학적 추론과 같은 맥락에서도 유사한 계층적 구조가 존재함을 발견하여, LLM이 단순한 구문이나 개념 수준을 넘어 추론 과정 자체에서도 계층을 표현함을 보여줍니다.

### 🔑 시사점 및 한계

- LLM은 언어의 구문 및 개념적 계층뿐만 아니라, 추론 과정 자체에서도 깊은 수준의 추상화된 계층적 구조를 내재하고 있음을 보여줍니다.

- H-probes를 통해 LLM의 내부 작동 방식, 특히 계층적 사고와 관련된 잠재 공간의 기하학적 특성을 이해하는 데 기여합니다.

- 현재 연구는 주로 인공적인 트리 순회 작업에 초점을 맞추고 있으며, 복잡하고 다양한 실제 세계의 계층적 추론 맥락으로 일반화하는 데는 추가적인 연구가 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2605.00847)