Share
Sign In
프롬프트 작성팁
The Illusion of Understanding | 환각을 줄이기위한 프롬프팅 방법
S
Sujin_Kang
👍
거짓말 하는 AI, 거짓말 하지 않게 하기
LLMs 을 이해하고 프롬프트를 잘 쓰고, 엔지니어링을 잘하려면 인지 과학의 책을 읽어야 합니다. 작년까지는, LLMs의 기본 지식과 이론을 채우느라 바빴다면 올해는, 아주 천천히 LLMs 와 인간이 사고함에 있어서 유사함을 찾으려 관련 책을 읽습니다.
Daniel Kahneman의 책 <Thinking, Fast, and Slow> 을 읽고 있습니다. 이해하기는 다소 어렵지만, 이해하고 나니 비로소 프롬프트에 적용할 수 있는 것이 많았습니다. 그 중 하나가 "The Illusion of Understanding(인지 편향)" 입니다.
📖
원문:
The core of the illusion is that we believe we understand the past, which implies that the future also should be knowable, but in fact we understand the past less than we believe we do. Know is not the only word that fosters this illusion. In common usage, the words, intuition and premonition are also reserved for past thoughts that turned out to be true. (p. 201-202)
📖
한국어 해석:
우리는 과거를 "이해"한다고 믿는다. 이는 미래도 알 수 있어야 한다는 착각을 불러일으킨다. 하지만 실제로 우리는 우리가 생각하는 것보다 과거를 덜 이해하고 있다. "앎"이라는 단어뿐 아니라, "직관"과 "예감"이라는 단어도 이런 착각을 강화한다. 이 단어들은 주로 결과적으로 맞았던 과거의 생각들을 지칭할 때 사용된다.
가능한 함의를 정리해봤습니다.
확증 편향: 과거의 사건들 중, 우리의 예측이나 믿음과 일치하는 것들만 선택적으로 기억하는 경향이 있다. 우리가 과거를 정확하게 이해하고 있다는 착각을 강화 시킨다.
후견 편향: 사건이 발생한 후에는, 그 사건이 예측 가능했다고 생각하는 경향이 있다. 이는 우리가 과거를 실제보다 더 잘 이해한다고 믿게 만든다.
불확실성에 대한 인식 부족: 이러한 착각은, 우리가 세상의 불확실성과 복잡성을 과소평가 하게 만든다.
하나하나, 읽어보면 LLMs의 사고하는 과정에서 발견하는 문제들입니다. (* 편의상 LLM이 "사고" 한다고 하겠습니다. 어느 정도 레벨의 reasoning은 하는 수준이니까요).
✅ 가장 대표적인 문제가 "환각(Hallucination)"입니다.
(1) 자신이 학습한 데이터를 과신하여, 그 데이터가 현실 세계를 완벽히 반영한다고 "믿는" 경향이 있습니다.
(2) 패턴 인식의 과도한 일반화를 하죠. 과거의 데이터를 바탕으로 미래를 예측할 수 있다고 생각하는 편향이 생깁니다.
(3) 확신의 착각: 높은 확률로 예측한 출력을 사실로 간주하는 경향이 있어, 잘못된 정보를 확신을 가지고 제시하죠.
그래서, 프롬프트로 LLM의 인지 편향을 예방하기 위해서 이런 단어를 사용하여 "사실" 과 "앎"을 구분해봤습니다. 그리고 인지적 함정을 피할 수 있었습니다. 사용 프롬프트 중 일부입니다.
영어 단어: "Fact" - Epistemic Gradient - "opinion"
📖
Prompt:
-- Respond to the following given information. Gather the details as thoroughly as possible, then categorize them according to the following format:

{Fact}:
{Opinion}:
! 여기서 Epistemic Gradient란, "앎의 정도"를 말합니다. 인식론과 과학철학의 개념입니다. 인지의 정도에 따라 확실함과 덜 확실함의 범위가 정해집니다.
아주 쉬운 예를 들어 결과를 비교해보겠습니다.
판다 푸바오가 중국에 간 년도와 배경을 CLAUDE (3.5 Sonnet) 에 물었습니다.
A 프롬프트: 일반
B 프롬프트: Fact/ Opinion 구분
결과는, 첨부 이미지에서처럼 확연히 차이가 납니다. A는 환각이 발생했지만, B는 I don't have specific factual information 이라며 사실을 말합니다. 간단하게, 환각을 예방할 수 있던 프롬프트 예시입니다.
A 프롬프트: 일반 B 프롬프트: Fact/ Opinion 구분
Subscribe to 'sujin-prompt-engineer'
안녕하세요,
슬래시페이지 구독을 하시면, 이따금씩 발행하는 프롬프트와 프롬프트 엔지니어링에 관한 글을 이메일로 받아보실 수 있어요. 구독하시겠어요? 😊
Subscribe
👍
Sujin_Kang
도꼬마리 열매와 프롬프트
Biomimicry 으로부터의 프롬프트 엔지니어링: 프롬프트 구조화 프롬프트 엔지니어로 일을 할 때 두 가지 역량이 중요하다 생각해요. 1️⃣ LLM의 가능성 탐구를 위한 독창성 2️⃣ LLM의 한계를 인지한 과학적 접근 다양한 학문 분야에서 영감을 얻을 수 있습니다. 그 중 하나는 Biomimicry 입니다. Biomimicry 는 '생체 모방' 입니다. 자연으로부터 배워 문제를 해결하는 방법이에요. 자연과 생물들이 백만 년 동안 진화하면서 발전시킨 해결책들을 연구하고, 이를 인간의 문제 해결에 적용하는 것입니다. 이 열매 아세요? 도꼬마리 열매입니다. 아마도 이 열매가 옷이나 몸에 붙어서 고생한 적이 있을 거예요. 열매 끝을 보면, 갈고리 처럼 생겼죠. 자세히 확대한 사진을 보면 갈고리 모양이 잘 보여요. 그리고 이 열매에서 영감받아 오늘의 "벨크로"가 탄생하게 됩니다. 출처: Biomimicry, An Approach Towards Future of Design and Sustainability 💡 벨크로 발명 계기 전기 공학자이자 발명다 Gorge De Mestral 은 산책 후 강아지 털에 붙은 도꼬마리를 떼어냈어요 호기심이 가득했던 그는 현미경으로 열매를 관찰했어요. 확대해 보니, 갈고리 끝에 붙는 메커니즘을 발견하고 1951년 "벨크로'를 특허 출원했습니다.
👍
1
Sujin_Kang
ChatGPT와 클로드 답변 내용이 별로라면? 프롬프트 스케쥴링과 가중치 조절 (Scheduling and Weight)
한 커뮤니티에서 "생성형 AI로부터 답을 자세히 받기 위해, 프롬프트에 세세히 지정해주는 것이 오히려 답변 품질을 저하한다"는 주제로 이야기를 했었어요. ChatGPT나 클로드를 써서 작문이나 글짓기, 보고서 작성을 해 본 분들이라면 느꼈을 이 현상을 저는 "프롬프트의 역설(Prompt paradox)"이라고 해요. 프롬프트 디자인 원칙 중 하나 "가능한 구체적으로 프롬프트를 쓴다"인데, 프롬프트를 세세하게 쓸 수록 답변이 저하 된다니 매우 역설적이죠. ✅ 프롬프트의 양과 답변 품질의 관계 프롬프트 세부 사항/지시문의 양과 언어 모델의 답변 품질은 역상관 관계예요. 모델에 더 많은 제약을 가할 수록, 답변의 품질이 좋지 못해요. 간단하게 이유는 두 가지예요. (1) 프롬프트 입력 내용 만큼, 모델의 생성을 제어하게 되어 자유도가 떨어진다. (2) 상세한 프롬프트는 LLM에게 인지 부담(cognitive pressure)을 일으킨다. 사람도 한 번에 처리해야 하는 정보가 너무 많이 들어오면 무엇을 먼저 읽고, 무엇을 나중에 읽어야 하는지 부담이 가중되죠. LLM도 마찬가지예요. 프롬프트 문장을 overlap 하여 읽거나, skip 하거나, 처리해야 할 내용을 지나치게 일반화 (혹은, 뭉뚱그려) 답변 내용의 질을 떨어트려요. 💡 문제 해결을 위한 프롬프팅 기법 문제를 해결하기 위해서 다양한 방법이 있지만 그 중에서도 "프롬프트 스케쥴링"과 "프롬프트 가중치"라는 프롬프팅으로 해결 했어요. (*네이밍은 제가 붙였습니다) 글: {글} 사용한 글: ‘주먹 불끈’ 트럼프 사진 찍은 기자 “역사적 순간 직감” 에이피(AP) 통신 에번 부치 수석 사진기자가 13일(현지시각) 미국 펜실베이니아 버틀러 유세장에서 총격 직후 촬영한 사진을 보면, 트럼프 전 대통령은 경호원들에게 둘러싸인 채 귀에서 피를 흘리면서도 결연한 표정으로 지지자들에게 주먹을 치켜들었다. 트럼프 전 대통령이 단상을 내려오는 모습을 아래에서 담은 이 사진은 배경에 나부끼는 미국 성조기까지 더해져 강인한 인상을 준다. 이는 트럼프 전 대통령의 경쟁자인 조 바이든 대통령의 노쇠한 이미지와 대조된다는 평가가 나온다. 이 사진은 사회관계망서비스(SNS) 등에서 빠르게 확산하면서 공화당 지지층 결집 효과를 내고 있다. 트럼프 전 대통령의 장남인 도널드 트럼프 주니어는 이 사진을 엑스(X·옛 트위터)에 올리며 “그는 미국을 구하기 위한 싸움을 절대 중단하지 않을 것”이라고 적었다. 이 사진을 찍은 에번 부치 기자는 2003년부터 20년 넘게 에이피 통신에서 일했다. 그는 2020년 조지 플로이드 사망 이후 미국 전역으로 번진 흑인 인권 시위 현장을 취재한 사진으로 이듬해 퓰리처상을 받은 바 있다. 에이피 통신이 공개한 부치 기자의 인터뷰를 보면 그는 “총격 소리를 들은 바로 그 순간 나는 이것이 미국 역사에서 기록돼야 할 순간임을 알았다”며 “이런 일을 하는 것이 기자로서 우리 직업”이라고 말했다.
👍
1
Sujin_Kang
ChatGPT는 왜 특정 단어를 반복할까? - 특정 단어를 피하는 프롬프팅 기법
ChatGPT를 사용하다 보면, 자주 등장하는 단어가 있습니다. Language나 Linguistics 의 주제에서는 항상 이런 단어가 나와요. "nuanced, crucial, in the realm of, adhere to, critical, paramount, tailored" nuanced 는 연구페이퍼를 쓰면서 사용해 본 적이 없는 낯선 단어예요. Google Books Ngram Viewers 을 보면 naunced 보다는 동의어 subtle이 현대 영어에서는 사용 빈도가 높은 단어죠. 때로는 미국 영어에서 잘 사용하지 않는 단어나 어색한 구문이 등장하기도 해요. 자주 단어가 반복되다보니 이제는 ChatGPT로 생성한 문장, 아닌 문장을 구분 할 수 있게 되었습니다. ✅ 단어 반복 현상, 가능한 이유들 LLM이 학습한 데이터에서 특정 단어의 빈도가 높았다 데이터를 라벨링하고, 평가했던 휴먼 작업자의 선호도가 반영 됐다 LLM의 훈련 방식과 인간의 선호도에 따른 미세 조정 과정의 영향일 수 있다 Times지의 작년 기사를 보면, OpenAI는 ChatGPT를 덜 유해하게 만들기 위해 시간 당 2달러 미만을 받는 케냐의 노동자를 고용해 수만 개의 텍스트 샘플을 검토했다고 하죠. 이 과정에서 아프리카 영어 표현이 모델에 영향을 미쳤을 가능성도 있어요. 출처: https://time.com/6247678/openai-chatgpt-kenya-workers/ 저는 의도적으로 글쓰기를 할 때 ChatGPT도 클로드도 사용하지 않고 있어요. 다만, 글의 교정 용도로 사용하는데, 이때 반복되는 단어와 어색한 문장을 피하기 위해 프롬프트로 해결을 해요. 사용 프롬프트: