Improving Complex Reasoning with Dynamic Prompt Corruption: A soft prompt Optimization Approach
Created by
Haebom
Category
Empty
저자
Sinan Fan, Liang Xie, Chen Shen, Ge Teng, Xiaosong Yuan, Xiaofeng Zhang, Chenxi Huang, Wenxiao Wang, Xiaofei He, Jieping Ye
개요
본 논문은 대규모 언어 모델(LLM)의 프롬프트 튜닝(PT)이 복잡한 추론 과제에서는 성능 향상이 제한적이거나 오히려 성능 저하를 야기할 수 있음을 밝힙니다. 이는 소프트 프롬프트가 특정 경우에는 긍정적 영향을 미치지만, 추론 후반 단계에서는 부정적 영향을 미칠 수 있기 때문입니다. 본 논문에서는 소프트 프롬프트 내 정보 축적 현상과 이로 인한 오류 정보 흐름을 분석하고, 이를 해결하기 위해 동적 프롬프트 손상(DPC) 기법을 제안합니다. DPC는 동적 트리거와 동적 손상의 두 단계로 구성되며, 소프트 프롬프트의 영향을 측정하고 추론 과정에 방해가 되는 토큰을 선택적으로 마스킹하여 부정적 영향을 완화합니다. GSM8K, MATH, AQuA 등 다양한 추론 과제와 LLM에서 실험을 통해 DPC가 기존 프롬프트 튜닝 대비 4%-8%의 정확도 향상을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
소프트 프롬프트의 부정적 영향을 완화하는 DPC 기법의 효과를 실험적으로 증명.
◦
복잡한 추론 과제에서 LLM의 성능 향상 가능성 제시.
◦
소프트 프롬프트 내 정보 축적 및 오류 정보 흐름 현상에 대한 새로운 분석 제공.
•
한계점:
◦
DPC 기법의 효과는 특정 LLM과 추론 과제에 국한될 가능성 존재.
◦
DPC 기법의 계산 비용 및 복잡성에 대한 추가적인 분석 필요.
◦
다양한 유형의 소프트 프롬프트 및 추론 과제에 대한 일반화 가능성에 대한 추가 연구 필요.
