단일 헤드 소프트맥스 어텐션 메커니즘을 사용하여 k-비트 부울 함수(특히 AND, OR 및 그들의 잡음 변형)의 계산 한계를 연구합니다. 여기서 k는 d개의 입력 중에서 선택된 Θ(d)개의 관련 비트입니다. 단일 헤드 소프트맥스 어텐션 메커니즘만으로는 이러한 간단한 AND 및 OR 함수를 풀 수 없음을 보여줍니다. 그러나 교사 강화를 사용하면 동일한 최소한의 어텐션으로 이러한 함수를 해결할 수 있습니다. 이러한 결과는 두 가지 주요 통찰력을 제공합니다. 구조적으로, 이러한 부울 작업을 해결하는 데는 심층 트랜스포머 블록이나 FFN 없이 최소한의 어텐션만 필요합니다. 방법론적으로, 감독을 통한 한 번의 기울기 하강 업데이트가 충분하며 부울 문제 해결을 위한 [Kim and Suzuki, ICLR 2025]의 다단계 사고 연쇄(CoT) 추론 방식을 대체합니다. 이러한 경계는 이상적인 감독 하에서 이 최소 아키텍처가 달성하는 것과 표준 훈련 하에서는 증명할 수 없이 불가능한 것 사이의 근본적인 차이를 보여줍니다.
