Share
Sign In
정보 추가형 프롬프팅
Generated Knowledge Prompting(생성된 지식 프롬프팅)은 Jiacheng Liu 연구팀이 2022년에 발표한 <Generated Knowledge Prompting for Commonsense Reasoning> 논문에서 제안한 기법입니다. 생성된 지식 프롬프팅은 언어 모델에서 직접 지식을 생성하고, 이를 추가 입력으로 제공하여 질문에 대답하는 방법입니다. 이 방법은 상식적인 추론이나 사실적 정확성이 요구되는 작업에 특히 유용합니다.
Generated Knowledge Prompting for Commonsense Reasoning.pdf864KB
원리는 의외로 간단하게 두 단계로 이루어집니다. 첫째, 언어 모델을 사용하여 질문과 관련된 지식 선언문(knowledge statement)을 생성합니다. 둘째, 생성된 지식을 결정 과정에 통합하여, 각 지식 선언문으로 예측을 수행한 후 가장 높은 확신을 가진 예측을 선택합니다.
여기까지 보신 분들은 GPTs가 떠오르셨으면 잘 이해하신 것 입니다. 실제로 이는 GPTs에도 일부 적용된 기법입니다. 지식을 넣고 해당 지식에 맞는 답변을 주고 사용자가 입력 혹은 답변한 내용을 통합해 더 나은 답변을 추출해 내는 과정이 그러합니다.
특정 질문에 맞춰 언어 모델(GPT-3.5 사용)을 통해 지식 선언문을 생성합니다. 이는 몇 가지 시연을 통해 이루어지며, 각 시연은 해당 작업 스타일의 질문과 이에 도움이 되는 지식 선언문으로 구성 됩니다. 이 지식 선언문은 어떤 주제나 질문과 관련된 정보를 명시적으로 제시하는 문장을 뜻합니다. 선언문이라 하여 거창한 것이 아닙니다.
논문에 있는 예시를 따르면 다음과 같습니다.
"골프에서 다른 사람보다 더 높은 점수를 얻으려고 노력하는 부분이 있나요?"
골프의 일부분은 다른 사람보다 더 높은 점수를 얻기 위해 노력하는 것입니다.
생성된 지식=> 골프의 목표는 가장 적은 타수로 코스를 완주하는 것입니다. 가장 낮은 점수를 기록한 플레이어가 승리합니다.
"골프에서 다른 사람보다 더 높은 점수를 얻으려고 노력하는 부분이 있나요?"
골프에서 플레이어는 가장 적은 타수로 코스를 완주하는 것을 목표로 합니다. 가장 낮은 스코어가 승리합니다.
생성된 지식 프롬프트의 중요성
생성된 지식 프롬프트는 특히 복잡하거나 미묘한 정보에 대한 이해가 필요한 작업에서 LLM의 중요한 발전을 나타냅니다. 프롬프트 내에서 지식을 생성하고 활용함으로써 LLM은 보다 정확하고 맥락에 맞는 응답을 제공할 수 있습니다. 즉, 생성된 지식을 프롬프트에 통합함으로써, 언어 모델은 골프에서 점수가 낮을수록 더 좋다는 것을 올바르게 이해합니다. 이 예시는 생성된 지식을 포함시킴으로써 모델의 이해도와 정확도를 크게 향상시킬 수 있다는 것을 보여줍니다.
약간의 첨언을 더 한다면, 사실 VectorDB나 Embeding Model을 사용하면 모든게 쉬워 집니다. 어디까지나 프롬프트를 활용해서 최고의 효율을 뽑아낼때 유효한 방법 입니다.
ⓒ 2023. Haebom, all rights reserved.
출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.
