프롬프트 작성팁
The Illusion of Understanding | 환각을 줄이기위한 프롬프팅 방법
Sujin_Kang
Category
Empty
Status
Empty
Assignee
Empty
거짓말 하는 AI, 거짓말 하지 않게 하기
LLMs 을 이해하고 프롬프트를 잘 쓰고, 엔지니어링을 잘하려면 인지 과학의 책을 읽어야 합니다. 작년까지는, LLMs의 기본 지식과 이론을 채우느라 바빴다면 올해는, 아주 천천히 LLMs 와 인간이 사고함에 있어서 유사함을 찾으려 관련 책을 읽습니다.
Daniel Kahneman의 책 <Thinking, Fast, and Slow> 을 읽고 있습니다. 이해하기는 다소 어렵지만, 이해하고 나니 비로소 프롬프트에 적용할 수 있는 것이 많았습니다. 그 중 하나가 "The Illusion of Understanding(인지 편향)" 입니다.
원문:
The core of the illusion is that we believe we understand the past, which implies that the future also should be knowable, but in fact we understand the past less than we believe we do. Know is not the only word that fosters this illusion. In common usage, the words, intuition and premonition are also reserved for past thoughts that turned out to be true. (p. 201-202)
The core of the illusion is that we believe we understand the past, which implies that the future also should be knowable, but in fact we understand the past less than we believe we do. Know is not the only word that fosters this illusion. In common usage, the words, intuition and premonition are also reserved for past thoughts that turned out to be true. (p. 201-202)
한국어 해석:
우리는 과거를 "이해"한다고 믿는다. 이는 미래도 알 수 있어야 한다는 착각을 불러일으킨다. 하지만 실제로 우리는 우리가 생각하는 것보다 과거를 덜 이해하고 있다. "앎"이라는 단어뿐 아니라, "직관"과 "예감"이라는 단어도 이런 착각을 강화한다. 이 단어들은 주로 결과적으로 맞았던 과거의 생각들을 지칭할 때 사용된다.
우리는 과거를 "이해"한다고 믿는다. 이는 미래도 알 수 있어야 한다는 착각을 불러일으킨다. 하지만 실제로 우리는 우리가 생각하는 것보다 과거를 덜 이해하고 있다. "앎"이라는 단어뿐 아니라, "직관"과 "예감"이라는 단어도 이런 착각을 강화한다. 이 단어들은 주로 결과적으로 맞았던 과거의 생각들을 지칭할 때 사용된다.
✅ 가능한 함의를 정리해봤습니다.
•
확증 편향: 과거의 사건들 중, 우리의 예측이나 믿음과 일치하는 것들만 선택적으로 기억하는 경향이 있다. 우리가 과거를 정확하게 이해하고 있다는 착각을 강화 시킨다.
•
후견 편향: 사건이 발생한 후에는, 그 사건이 예측 가능했다고 생각하는 경향이 있다. 이는 우리가 과거를 실제보다 더 잘 이해한다고 믿게 만든다.
•
불확실성에 대한 인식 부족: 이러한 착각은, 우리가 세상의 불확실성과 복잡성을 과소평가 하게 만든다.
하나하나, 읽어보면 LLMs의 사고하는 과정에서 발견하는 문제들입니다. (* 편의상 LLM이 "사고" 한다고 하겠습니다. 어느 정도 레벨의 reasoning은 하는 수준이니까요).
✅ 가장 대표적인 문제가 "환각(Hallucination)"입니다.
(1) 자신이 학습한 데이터를 과신하여, 그 데이터가 현실 세계를 완벽히 반영한다고 "믿는" 경향이 있습니다.
(2) 패턴 인식의 과도한 일반화를 하죠. 과거의 데이터를 바탕으로 미래를 예측할 수 있다고 생각하는 편향이 생깁니다.
(3) 확신의 착각: 높은 확률로 예측한 출력을 사실로 간주하는 경향이 있어, 잘못된 정보를 확신을 가지고 제시하죠.
(2) 패턴 인식의 과도한 일반화를 하죠. 과거의 데이터를 바탕으로 미래를 예측할 수 있다고 생각하는 편향이 생깁니다.
(3) 확신의 착각: 높은 확률로 예측한 출력을 사실로 간주하는 경향이 있어, 잘못된 정보를 확신을 가지고 제시하죠.
그래서, 프롬프트로 LLM의 인지 편향을 예방하기 위해서 이런 단어를 사용하여 "사실" 과 "앎"을 구분해봤습니다. 그리고 인지적 함정을 피할 수 있었습니다. 사용 프롬프트 중 일부입니다.
✅ 영어 단어: "Fact" - Epistemic Gradient - "opinion"
Prompt:
-- Respond to the following given information. Gather the details as thoroughly as possible, then categorize them according to the following format:
-- Respond to the following given information. Gather the details as thoroughly as possible, then categorize them according to the following format:
•
{Fact}:
•
{Opinion}:
! 여기서 Epistemic Gradient란, "앎의 정도"를 말합니다. 인식론과 과학철학의 개념입니다. 인지의 정도에 따라 확실함과 덜 확실함의 범위가 정해집니다.
아주 쉬운 예를 들어 결과를 비교해보겠습니다.
판다 푸바오가 중국에 간 년도와 배경을 CLAUDE (3.5 Sonnet) 에 물었습니다.
판다 푸바오가 중국에 간 년도와 배경을 CLAUDE (3.5 Sonnet) 에 물었습니다.
•
A 프롬프트: 일반
•
B 프롬프트: Fact/ Opinion 구분
결과는, 첨부 이미지에서처럼 확연히 차이가 납니다. A는 환각이 발생했지만, B는 I don't have specific factual information 이라며 사실을 말합니다. 간단하게, 환각을 예방할 수 있던 프롬프트 예시입니다.
A 프롬프트: 일반 B 프롬프트: Fact/ Opinion 구분
Subscribe to 'sujin-prompt-engineer'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'sujin-prompt-engineer'!
Join Slashpage and subscribe to 'sujin-prompt-engineer'!
