본 논문은 심층 신경망의 성공이 표상 공간 내 잠재적 특징을 포착하는 능력에 크게 기인한다는 점에 주목합니다. 연구진은 대규모 언어 모델(LLM)과 같은 에이전트로부터의 상대적 삼중항 비교 형태의 피드백을 통해 모델의 기저에 깔린 학습된 특징들을 효율적으로 검색할 수 있는지 여부를 조사합니다. 이러한 특징들은 LLM의 사전이나 마할라노비스 거리의 공분산 행렬 등 다양한 구성 요소를 나타낼 수 있습니다. 희소 설정에서 특징 행렬 학습과 관련된 피드백 복잡도를 분석하고, 에이전트가 활성화를 구성할 수 있을 때 엄격한 경계를 설정하며, 에이전트의 피드백이 분포 정보로 제한될 때 희소 시나리오에서 강력한 상한선을 제시합니다. 재귀적 특징 기계로부터의 특징 복구와 대규모 언어 모델에서 학습된 희소 오토인코더로부터의 사전 추출이라는 두 가지 응용 분야에 대한 실험을 통해 이론적 결과를 검증합니다.
