本論文は,既存のトークン単位コピーを担うインダクションヘッドに加えて,語彙単位全体をコピーする概念レベルのインダクションヘッドを発見したという研究結果を提示する。概念レベルの Induction head は、複数のトークン単語の終わりに注意を払って学習し、トークンレベルの induction head と並列的に意味のあるテキストをコピーします。論文は、概念レベルのインダクションヘッドが単語レベルの翻訳などのセマンティックタスクを担当し、トークンレベルのインダクションヘッドは、無意味なトークンのコピーなど、文字通りコピーする必要があるタスクに不可欠であることを示しています。両方のパスは独立して機能します。トークンレベルのインダクションヘッドを削除すると、モデルは文字通りコピーするのではなく、意図的になります。概念レベル induction head の出力をパッチして分析した結果、言語と型に独立した単語表現が含まれていることを確認し、大規模な言語モデルが言語や型に関係なく抽象的な単語意味を表すことを示唆します。
