본 논문은 대규모 언어 모델(LLM)의 프롬프트 튜닝(PT)이 복잡한 추론 과제에서는 성능 향상이 제한적이거나 오히려 성능 저하를 야기할 수 있다는 점을 밝힙니다. 이는 소프트 프롬프트가 특정 경우에는 긍정적 영향을 미치지만, 특히 추론 후반 단계에서 부정적 영향을 미칠 수 있음을 시사합니다. 이러한 문제를 해결하기 위해, 본 논문은 소프트 프롬프트 내 정보 축적 현상을 분석하고, 이로 인한 잘못된 정보 흐름이 추론 오류로 이어짐을 보여줍니다. 따라서, 소프트 프롬프트의 영향을 동적으로 조절하는 새로운 방법인 Dynamic Prompt Corruption (DPC)을 제안합니다. DPC는 Dynamic Trigger와 Dynamic Corruption 두 단계로 구성되어, 소프트 프롬프트의 영향을 측정하고 추론 과정에 방해가 되는 토큰을 선택적으로 마스킹하여 부정적 영향을 완화합니다. GSM8K, MATH, AQuA 등 다양한 LLM 및 추론 과제에 대한 실험 결과, DPC는 기존 프롬프트 튜닝 대비 4%-8%의 정확도 향상을 달성하여 그 효과를 입증합니다.
