본 논문은 알고리즘적으로 생성된, 이해하기 어려운 프롬프트(autoprompt)에 대해 예측 가능한 방식으로 응답하는 언어 모델(LM)의 특성을 분석합니다. 6개의 서로 다른 크기와 계열의 LM을 대상으로, 기계 생성 프롬프트의 특징을 자세히 조사합니다. 분석 결과, 기계 생성 프롬프트는 종종 이해 가능하고 생성에 큰 영향을 미치는 마지막 토큰을 특징으로 합니다. 일부 토큰은 최적화 과정에서 토큰 수가 고정됨에 따라 부산물로 나타나는 것으로 추정되며 제거 가능합니다. 나머지 토큰은 의미적으로 관련 없는 대체물로 바꿀 수 있는 '필러 토큰'과 생성과 느슨한 의미적 관계를 갖는 '키워드'로 분류됩니다. 전문가는 autoprompt에서 가장 영향력 있는 토큰을 신뢰할 수 있게 식별할 수 있으며, 이는 autoprompt가 완전히 불투명하지 않음을 시사합니다. 또한, autoprompt에 적용된 일부 제거 실험은 자연어 입력에서도 유사한 효과를 나타내어, autoprompt가 LM이 일반적으로 언어 입력을 처리하는 방식에서 자연스럽게 발생함을 시사합니다.
