대화의 격률과 프롬프트 LLM의 한계를 완화하는 장치 신간 <지적대화를 위한 AI 언어 수업: 사고를 확장하는 프롬프트의 기술> 에는 대화분석학의 여러 이론을 적용한 프롬프트 설계법을 다룹니다. 그 중 답변을 품질을 개선할 수 있는 대화의 격률을 소개합니다. 대화의 격률을 프롬프트에 적용하면 LLM의 네 가지 한계- 장황함, 할루시네이션, 산만함, 모호함을 완화할 수 있습니다. 미국의 언어철학자 Paul Grice 는 인간의 대화가 협력원리 위에 작동한다고 보았습니다. 화자와 청자는 서로 협력한다는 전제 아래 네 가지 격률을 따릅니다. 흥미로운 점은 이 결률은 LLM의 구조적 한계와 정확히 맞물린다는 것입니다. 1️⃣ 양의 격률 (Quantity): 필요한 만큼만 정보를 제공하라 LLM은 다음 토큰 확률을 최대화하는 방향으로 학습되어, 짧게 끝낼 수 있는 답변도 길게 늘이는 경향이 있습니다. 강화학습 과정에서 길고 친절한 응답이 더 높은 보상을 받은 흔적이기도 합니다. ✅ verbosity bias 편향 억제 프롬프트: "3문장으로", "핵심 근거 2개만" 등의 분량 제시 2️⃣ 질의 격률 (Quality): 거짓 혹은 근거 없는 말을 하지 마라 LLM은 모르는 것에 대해서도 그럴듯한 문장을 생성합니다. 학습 목적 자체가 "사실 여부"가 아니라 "통계적 자연스러움"이기 때문입니다. 다음처럼 격률을 부여하면 모델의 확신 정도를 메타적으로 표시하도록 유도할 수 있습니다. ✅ 프롬프트: "출처가 불확실하면 모른다고 답해줘", "추측인 부분은 명시해줘" 3️⃣ 관련성의 격률(Relation): 관련 있는 말을 하라. LLM은 프롬프트 안의 모든 단서에 반응하려는 경향이 있어, 부수적 정보까지 끌어와 응답이 산만해지기 쉽습니다. 긴 맥락에서는 주제가 더 산만해집니다. 적합성의 경계를 프롬프트에 명시하면 응답이 좁혀집니다. ✅ 프롬프트: "이 질문의 결론과 직접 연결된 근거만", "배경 설명은 생략"

어제 gpt-image-2가 나왔습니다. OpenAI 공식 Cook Book에 프롬프트 가이드도 함께 올라왔습니다. API 기반 이미지 생성을 해보니 특이점이 한 번 더 온것 만 같습니다. 한글 깨짐이 거의 없고, 고해상도 결과를 만들어냅니다. 실무에 바로 쓸 수 있는 gpt-image-2 이미지 생성 프롬프트 10가지 원칙을 정리했습니다. 1️⃣ 프롬프트 구조 + 목적 -프롬프트는 일관적인 순서가 중요함. 배경 → 주체 → 디테일 → 제약 순서로 작성하기. -용도(광고/UI목업/인포그래픽)를 명시해야 "모드"와 완성도가 잡힘. 2️⃣ 프롬프트 내 사용 포맷은 자유롭게 서술형, JSON, 태그, 평문 모두 이미지 모델이 잘 처리함. 프로덕션 레벨에서는 "prompt syntax" 보다는 한 눈에 내용 파악을 할 수 있는 잘 정리된 템플릿이 좋음. 3️⃣ 프롬프트는 구체적으로, 생성 품질 옵션 사용하기 재질·질감·매체(사진/수채화/3D)를 명시. 포토리얼리즘은 "photorealistic"단어 사용하기. 4️⃣ 구체화와 생성 품질에 대한 단서 주기 고해상도 이미지 생성은 quality="high"로 설정하기 작은 글자, 밀도 높은 인포그래픽, 클로즈업 얼굴 등 고품질 생성 가능. 예시: visual medium(photo, watercolor, 3D render) quality levers (ilm grain, textured brushstrokes, macro detail) 5️⃣ 구도 제어 하기

🟣 한 번에 요구 사항을 프롬프트에 넣어야 하는 까닭 20만 건의 대화가 증명한 것: AI 는 대화를 못 한다 LLM을 "대화형 도구"로 사용하지만, 정작 LLM은 대화에 최적화 되어 있지 않습니다. Microsoft Research와 Salesforce의 공동 연구는 "LLMs Get Lost In Multi-Turn Conversation" 에서 LLM의 치명적 약점을 정량적으로 증명했습니다. Microsoft Research와 Salesforce의 공동 연구 "LLMs Get Lost In Multi-Turn Conversation"은 이 사실을 정량적으로 증명했습니다. 15개 주요 LLM, 20만 건 이상의 대화 시뮬레이션 결과, 멀티턴 대화에서 LLM 성능은 평균 39% 하락했습니다. GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet 등 최신 모델도 예외가 없었고, o3·DeepSeek-R1 같은 추론 특화 모델조차 동일하게 무너졌습니다. 멀티턴 기반의 에이전트나 플랫폼을 사용하다 보면 대화가 길어질수록 답변 품질이 떨어지는 것을 체감하게 되는데, 이유를 데이터 기반으로 설명할 수 있습니다. ✅ 멀티턴 대화에서 품질이 떨어지는 4가지 원인 정보가 부족한 초반에 성급하게 답변 시도 이전의 틀린 답변에 과도하게 의존 중간 턴의 정보를 잊어 버림 지나치게 장황한 응답으로 잘못된 가정 삽입 ✅ Lost in Conversation 현상 대화 초반, 정보가 부족한 상태에서 성급하게 답변을 시도하기 때문입니다. 초기에 세운 가정이 틀리면 이후 턴에서 그 틀린 답변에 오히려 더 의존하는 악순환이 생깁니다. Chain of Thought 같은 단일 추론 기법은 물론, Tree of Thought·Graph of Thought 같은 복합 추론 기법에서도 마찬가지입니다. 한 번 잘못 추론하면 이후 답변도 연쇄적으로 틀려버립니다.

gemini 3 프롬프트 작성법 세 가지 인사이트 프롬프트 길이보다 '구조'가 중요가 훨씬 중요합니다. gemini 3 이 공개 된날, 한 언론사의 방송 대본 생성 자동화를 급히 만들어야 했습니다. 프롬프팅을 해보고 느낀 점은 하나였습니다. "이 모델은 장문 보다는, 목표가 분명한 단문과 명확한 구조에 훨씬 잘 반응한다." 구글 공식 문서에서도 Gemini 3를 "reasoning에 최적화된 모델"로 정의합니다. 장황한 프롬프트보다 직접적이고 간결한 지시를 권장합니다. 사용 경험을 바탕으로 작성/쓰기 영역에서 정리한 세 가지 인사이트입니다. 1️⃣ 프롬프트 작성법 : 길이보다는 '구조' Gemini 3는 reasoning + instruction following 에 최적화되어 있습니다. 프롬프트 작성팁: 섹션 태그로 '내용' 구조화하기 : <OBJECTIVE_AND_PERSONA>, <INSTRUCTIONS>, <CONTEXT>, <OUTPUT_FORMAT> 직설적인 문장 + 제약 : 역할 지정 기법 효용 없음 템플릿형 작성: <OBJECTIVE_AND_PERSONA> : 무엇을, 누구처럼 할 것인지 <INSTRUCTIONS> : 해야 할 것 / 하면 안 되는 것 <CONTEXT> : 필요한 배경 정보 <OUTPUT_FORMAT> : 마크다운/JSON/표 등 결과 형태 참고: 구글의 공식 가이드 : Prompt Design Strategies

프롬프트 엔지니어링 'Verbalized Sampling' 기법 > 응답 다양성을 높이고 싶을 때 프롬프트 엔지니어링은 모델이 지닌 잠재적 가능성을 어떻게 이끌어내는가에 초점을 맞춘 분야입니다. 최근 프롬프트 엔지니어링 분야에서 새롭게 주목 받는 기법이 있습니다. Verbalized Samping (VS) 입니다. 지난 10월 Stanford 대학의 연구진이 올린 "VERBALIZED SAMPLING: HOW TO MITIGATE MODE COLLAPSE AND UNLOCK LLM DIVERSITY" 페이퍼에는 VS 기법에 대한 상세를 볼 수 있습니다. ✅ VS 기법은? ♦️ VS기법은 LLM이 생성하는 응답의 다양성(semantic diversity) 을 크게 높이는 방법입니다. VS는 단일 응답을 요청하는 대신, "여러 개의 응답과 각 응답의 확률(혹은 자신감)을 함께 제시하라" 는 방식으로 모델에 지시하는 기법입니다. 이렇게 하면 LLM이 내부적으로 고려하는 다양한 분포(distribution) 를 노출시킬 수 있습니다. ♦️ 프롬프트 예시: Standard Prompt: 11월 빼빼로 데이를 위한 마케팅 문구를 생성해주세요. VS based Prompt: 11월 빼빼로 데이를 위한 마케팅 문구 5개를 생성해주세요. 각 응답은 별도의 <response> </response> 태그 안에 넣어주세요. 각 응답에는 <text>와 숫자 형태의 <probability> 요소가 포함되어야 합니다. 응답은 전체 분포의 꼬리 부분(tails of the distribution)에서 무작위로 샘플링하여, 각 응답의 확률이 0.10 미만이 되도록 해야 합니다. ✅ 확률을 제시하게 하는 이유

언어 모델의 Thinking Time 과 Slow Thinking Prompt 'think harder' 프롬프트는 모델의 사고 시간을 늘려줍니다. 같은 질문을 던져도, 'think harder'를 사용한 모델은 5분 43초가 걸린 반면, 사용하지 않은 모델은 1분 8초 만에 답변을 내놓았습니다. (이미지 참고) 프롬프트는 단어 하나로 모델의 답변에 큰 차이를 만들어냅니다. ✅ Thinking Time의 개념 Thinking Time(생각 시간) 개념이 점점 더 중요해지고 있습니다. 모델이 출력을 내기 전에 내부적으로 수행하는 일련의 처리 단계를 의미합니다. 입력된 프롬프트 해석 내부 reasoning chain(추론 과정) 생성 중간 계산 수행 후보 답안 평가 및 선택 모델이 최종 답변을 내기까지의 숨은 연산 과정 전체가 Thinking Time에 해당합니다. ✅ Thinking Time과 프롬프트 엔지니어링 Thinking Time은 단순히 모델의 연산 효율 문제를 넘어서 프롬프트 설계 방식에 따라 크게 달라집니다. 이유는 두 가지입니다. 1️⃣ 복잡한 문제 해결 시 효과 단순히 "답만 내라"는 지시보다, 중간 추론 과정을 유도하는 프롬프트(Chain-of-Thought, CoT)를 사용하면 정답률이 높아집니다. 2️⃣ 모델의 불확실성 해소

AI Agent Tool 이름의 중요성: 왜 중요할까? Prefix vs. Suffix 네이밍 방식의 핵심 AI 에이전트를 위한 프롬프트 엔지니어링을 하다보면 수백 개의 툴과 MCP 서버관련 작업을 합니다. 프롬프트는 단순 지시문이 아닌, 에이전트를 어떻게 행동하게 할지를 규정하는 역할을 합니다. ✅ 툴 네이밍이 중요한 이유 프롬프트는 다음과 같은 판단의 기준이 됩니다: 툴을 어떤 맥락에서 사용할지 우선순위를 어떻게 둘지 실패 시 어떻게 복구할지 비슷한 기능을 가진 툴이 섞여 있으면, 에이전트의 툴 콜링 정확도가 떨어집니다. 이때 중요한 것이 바로 네임스페이싱(Namespacing) 입니다. LLM은 툴의 이름을 읽고 그 의미를 해석하기 때문에, 네이밍은 모델의 이해 정확도와 직결됩니다. ✅ Naming을 잘못했을 때 생기는 문제 엉뚱한 툴 호출 맞는 툴에 잘못된 파라미터를 넣음 필요한 툴을 missing 함 툴 응답을 잘못 처리함 👉 효과적인 네이밍 원칙

LLM 의 할루시네이션과 프롬프트: 할루시네이션이 발생하는 이유 OpenAI 연구를 중점으로 살펴본 '할루시네이션' LLM의 할루시네이션 발생원인과 프롬프트 작성법 OpenAI 연구를 중점으로 살펴본 '할루시네이션' 모델의 할루시네이션을 완화하기 위한 프롬프트 작성법음로 모르는 사실에 대해 "I don't know" 라고 프롬프트에 쓰는 것이 보편적입니다. 제가 사용하는 방식은 조금 다릅니다. 한 정보나 이슈에 대해 앎고 있음에 대한 epistemic gradient (*지식에 대한 확신 정도) [+/-] 를 활용하여 "어느 정도를 모르는지" tilting 하는 방식입니다. 100% 제어는 불가능하지만, 답변의 정확성을 높이는 데 효과적입니다. 언어 모델의 할루시네이션은 다양한 원인으로 발생합니다. 선행 연구는 할루시네이션의 원인을 모델의 과도한 확신, 디코딩의 무작위성, 스노우볼링 효과, 긴 꼬리 학습 샘플, 오도된 정렬 학습, 노출 편향 등으로 분석했습니다. 최근 OpenAI 는 이러한 현상을 구조적으로 분석한 논문을 발표했습니다. ✅ 할루시네이션 정의와 연구 결론 할루시네이션은 부정확한 정보를 사실처럼 생성하는 현상입니다. OpenAI 연구의 핵심은, 이것이 단순한 오류가 아니라 학습 및 평가 체계에서 발생하는 통계적 특성이라는 점을 강조합니다. 다시 말해, 언어 모델이 오류를 만드는 것은 ‘이상’이 아니라 자연스러운 결과라는 것입니다. ✅ OpenAI 가 밝힌 할루시네이션의 원인 1️⃣ 통계적 오류로서의 할루시네이션 언어 모델은 “추측하도록 보상받기” 때문에 불확실한 상황에서도 가장 가능성이 높은 답을 생성합니다. 이 과정에서 과도한 확신이 오류로 이어집니다. 2️⃣ 평가 체계의 구조적 문제 모델 학습·평가 방식은 정답률을 높이는 방향으로 설계되어 있습니다. 불확실할 때도 추측하는 편이 점수를 잘 받기 때문에, 모델은 자연스럽게 ‘추측을 지속’하게 됩니다. 3️⃣ 예측 문제의 불가피성 언어 모델은 확률적 생성 모델입니다. 따라서 불확실성을 표현하는 대신 그럴듯한 답변을 내놓는 것이 기본 동작이며, 할루시네이션은 불가피한 부산물로 나타납니다.

"말고"가 답변을 망치는 이유: "부정어"와 "프롬프트" 부정어를 처리하는 프롬프트 작성법 최근 티타임즈TV 컨텐츠를 통해 GPT-5 와 프롬프트를 주제로 실험한 내용을 소개했습니다. LLM은 한국어/영어의 부정(negation)과 여러 지시문에 취약합니다. "A 말고 B" 와 같은 한국어 부정 대조 지시에서 특히 답변이 망가집니다. 이미지/멀티모에서 부정어 처리를 잘 못한다는 내용의 피드를 작성한 적이 있습니다.텍스트 생성에 있어서도 LLM이 부정 표지 (예: not, -지 말고) 의 의미를 안정적으로 반영하지 못합니다. GPT-5 도 그렇습니다. "요약하지 하지 말고 인용구만 뽑아줘" 라고 했을 때 답변이 망가집니다. LLM의 크기가 커지면 negation 처리능력도 향상된다고는 하나, 여전히 해결되지 않은 문제입니다. ✅ LLM 은 왜 '부정(negation)'에 약한가? LLM은 기본적으로 다음 토큰 예측 확률을 최대화하도록 학습됩니다. 입력에 “하지 말고 / ~는 제외하고”처럼 원치 않는 단어가 등장하면, 모델 내부 표현은 그 단어를 억제하기보다 연상시키는 자극으로 처리하는 경우가 잦습니다. 고전 연구인 ✔️ Kassner & Schütze(2019/2020)는 PLM이 “Birds cannot [MASK]”와 “Birds can [MASK]”를 잘 구분하지 못하는 negation blindness를 보고했습니다. ✔️ 또한 다국어 NLI 설정에서 부정은 여전히 난제로 남아 있고, 모델 크기 증가가 부정 취약성을 줄이지만 완전히 해결하진 못한다는 최근 결과도 있습니다(Vrabcová et al., 2025). 이미지 내용: 모델들은 부정(negation)이 포함된 문장을 이해할 때 정확도가 크게 떨어지며, 작은 모델일수록 성능 저하가 심각함. 하지만 큰 모델들은 상대적으로 강건하게 부정을 처리하며 언어와 데이터셋에 따라 차이를 보임. ✅ 한국어 "말고"의 구조적 특징 "말고"는 한 문장 안에 두 지시를 묶습니다. 동사 연결: “A-하지 말고 B-해” → 금지(¬A) + 대체행위(B)

GPT-5 새로운 파라미터: Verbosity 와 System Prompt 출력물의 길이와 상세 수준을 조절하는 방법 프롬프트 제작 단계에서 으레 하는 일은 출력물의 길이와 상세 수준을 조절하는 것입니다. 기존에는 시스템 프롬프트에 단순히 "길게", "간결하게" 등의 지시를 합니다. 하지만 원하는 길이와 밀도를 정확히 맞추기는 쉽지 않습니다. 불필요하게 장황하거나 , 핵심이 없거나, 지정한 길이에 맞지 않는 결과가 나오는 경우가 많습니다. ✅ 세 가지 방법 저는 다음의 세 가지 방법으로 출력 길이와 밀도를 조정합니다. 1️⃣ 하위 구조 지정: 출력 내용을 세부 항목으로 나누어 각 항목을 프롬프트에 명시 예시: 하위 구조 1, 하위 구조 2, 하위구조 3 2️⃣ 문단 수 지정: 원하는 분량을 문단 단위로 구체적으로 지시 3️⃣ 내용 확장 방식 명시: 어떤 부분을 어떻게 상세히 해야 하는지 'how-to ' 설명 또 때로는 'in sequence', 'in detail', 'thorough' 같은 단어를 사용하여 길이를 늘릴 수 있습니다. ✅ GPT-5의 새로운 기능: Verbosity 최근 GPT-5에는 출력물의 길이와 밀도를 조정하는 새로운 파라미터 기능이 생겼습니다. 사용자나 개발자가 API 호출 시 응답의 길이와 세부정도를 직접 제어할 수 있습니다.

LLM 코드 생성 시 '프롬프트 변동성' : 오타와 문장 재구성 >> 프롬프트 엔지니어링이 지금 중요한 까닭 최근 많은 개발자와 비개발자들이 코드 생성용 LLM을 적극 활용하고 있습니다. 자연어로 작성한 간단한 요청만으로도 고품질의 코드를 빠르게 생성할 수 있는 시대입니다. 그러나, 쉽게 간과하고 있는 부분이 있습니다. 프롬프트는 '변화'에 취약합니다. 그리고 두 가지 질문에 의심해야합니다. "과연 LLM이 자연어를 올바르게 이해하고 있는가? " "같은 기능을 요청했을 때, 프롬프트가 달라지면 결과물이 달라지지 않을까?" 🔵 영국 케임브리지 대학 연구팀의 최근 논문 영국 케임브리지 대학 연구팀은 2025년 6월, 다음 논문을 발표했습니다. ‘Prompt Variability Effects on LLM Code Generation’ 연구는 LLM기반 코드 생성 과정에서 프롬프트의 미묘한 변화가 결과물에 어떤 영향을 미치는지 체계적으로 분석했습니다. 🔵 프롬프트 변화가 결과에 미치는 영향 연구팀은 다양한 실험을 통해 LLM의 코드 생성 결과가 입력 프롬프트의 변화에 매우 민감하다는 사실을 밝혔습니다. 타이포(오타), 동의어, 문장 재구성(Paraphrasing)과 같은 변화만으로도 LLM이 전혀 다른 코드를 생성할 수 있다는 것이죠.

RAG 마지막 단계, 시스템 프롬프트 작성팁 >> 도서 리뷰 'LLM 엔지니어링' : 기본이 중요한 이유 한빛 미디어의 신간 <LLM 엔지니어링> (원제: LLM Engineer's Handbook) 도서의 추천사를 작성했습니다. 책의 역자 Woocheol Cho 차장님과는 작년 포스코 이앤씨의 강연으로 인연을 맺었는데요, 감사하게도 장님께서 책을 선물로 보내주셨어요. 책은 문자그대로 'Handbook' 입니다. 교과서처럼 정독하며, RAG 시스템과 에이전트의 기본을 사전처럼 찾아보고 있습니다. ✅ 프롬프트 엔지니어링 '기본'에 충실해야 하는 이유 프롬프트만 무작정 수정하다 보면, 근본 개념을 놓쳐 해결 불가능한 과제에 부딪히기 쉽죠. 잘못 알고 있었던 개념이나 놓친 원리를 바로 잡을 때, 문제를 해결할 수 있습니다. ✅ 가장 도움을 받 은 부분은 'RAG 기본' 챕터 RAG에서 프롬프트 엔지니어링은, 최종적인 품질을 좌우합니다.

부정어를 잘 처리하도록 하는 프롬프팅 방법 부정어를 인지하지 못하는 VLM(Vision Language Models) VLM을 사용하여 프롬프트 엔지니어링을 하다보면 '부정어' 보다는 '긍정어'를 사용할 때 결과가 훨씬 좋음을 체감하고 경험할 수 있습니다. '부정어'를 인식을 못하여 결과에 오류를 낼 때도 허다합니다. 관련하여, 최근 MIT 연구진의 부정어 관련 연구가 있어 정리해봤습니다. ✅ MIT 연구진이 실험한 'VLM의 부정어 이해 한계" 최근 MIT 연구진은 'VLM의 부정어 이해에' 한계가 있다고 실험 결과를 발표했습니다. VLM 이 '가 아니다', '하지 않는다' 와 같은 부정어 (negation)을 제대로 인식하지 못한다는 결론입니다. 이 연구는 특히 의료 진단, 제품 결함 감지 등 고위험 분야에서 VLM 을활용할 때, 부정어를 인식하지 못해 심각한 오류를 초래할 수 있음을 경고합니다. ✅ 연구의 핵심 요약 ✔️ 문제: 방사선 전문의가 흉부 엑스레이 판독시 "조직 부종은 있지만 심장 비대는 없다"라고 판단합니다. VLM을 활용해 비슷한 케이스 보고서를 찾으려 할 때, VLM이 부정어를 놓친다면 "심장 비대가 있다"는 보고서를 잘못 검색해 전혀 다른 진단 방향으로 흐릅니다. ✔️ 실험 결과: 부정어가 포함된 프롬프트에서 평균 이미지 검색 25% 감소 이미지 검색 25% 감소 VLM은 주로 “이미지 속 존재하는 객체”만을 기준으로 판단해, “부재(absence)”를 표현하는 부정어를 무시하는 경향(=긍정 편향, affirmation bias)이 강함

프롬프트를 조금 더 잘 쓰는 방법 '현재 시제만 쓰고 있었다면...' "좋은 프롬프트는" 생성형 AI 혹은 LLM을 이용하며 원하는 결과를 얻게 하는 프롬프트입니다. 실증적 연구로 입증된 프롬프트 엔지니어링 기법이 많지만, 언어 property 를 이용한 방법을 소개하겠습니다. 👉 이번 글은 (Leidinger et al., 2023) 연구 내용과 프롬프트 엔지니어링 개인 경험을 바탕으로 작성했습니다. 결론: ✅ 프롬프트의 언어 구성을 어떻게 하느냐에 따라 결과가 달라진다. 영어로 프롬프트를 쓴다면, 다음과 같은 언어적 속성을 다양하게 사용할 수 있습니다. 문법적 법(mood): 평서문, 의문문, 명령문 시제(tense): 과거, 현재, 미래 태(aspect): 능동태 vs 수동태 양상(modality): can, must, might 등 조동사 어휘 대체(synonymy): 동일 의미의 동의어 치환 🍓 프롬프트를 잘 쓰는 다섯 가지 방법 방법 1. 프롬프트의 문장을 '질문형' 으로 바꿔보자

챗GPT 4o 말투, 왜 이렇게 달라졌지? 아첨을 하지않는 프롬프트 작성법 챗GPT 4o의 말투가 사용자 사이에서 뜨거운 화제였습니다. 예전에는 하지 않던 말투들을 사용하기 때문인데요. 다음의 네 가지로 말투의 특징을 꼽을 수 있습니다. ✅ 지나친 캐쥬얼함 (Yo, LOL, Yo Brooo..) 비속어나 슬랭 사용 ✅유치해진 말투로 인한 Dumber 챗GPT, ✅ 과도한 칭찬과 동조의 긍정 편향 (sycophancy streak) ✅ 사용자 지시를 무시하고 쓸데없는 말이 길다 ❓ 왜 이런 변화가 있었을까? OpenAI 공식 문서는 GPT-4o 업데이트를 소개하며 "대화 흐름 개선과 사용자 경험 향상"을 주요 목표로 내세웠다 합니다. 사용자가 느끼는 대화의 부드러움과 몰입감 강화를 위해 말투와 감정에 친근함을 더했습니다. https://help.openai.com/en/articles/6825453-chatgpt-release-notes ❓ 어떻게 이런 아첨하는 모델을 만들었을까? 요즘의 LLM은 Question-Answering 패턴을 가르치는 Instruction Tuning 과정에서 사용자의 지시사항과 의견을 구분하지 못하고, 사용자 의견에 동조하는 경향성을 학습했습니다. 인간 선호도 기반 강화학습(RLHF)도 모델의 답변에 영향을 줬겠죠. 인간이 맞는 답보다는 듣고 싶어하는 말을 듣는 것을 선호한다는 것이에요. 그리고 시스템 프롬프트로 최종 답변을 조정했겠지요. (자세한 글은, 변형호 박사님의 글을 읽어보시면 도움이 될 거예요) → 꼭 읽어보세요!

[프롬프트 실험실] 공손한 언어 vs 무례한 언어 AI로부터 좋은 답변을 잘 받는 방법은? 프롬프트와 프롬프트 엔지니어링을 하다 보면 '카더라' 가 많습니다. 하지만 프롬프트는 '과학'이에요. 프롬프트 실험실이란 제목으로 카더라를 하나하나씩 팩트체킹하려고 합니다. 🍓 첫번째는 '공손한 언어'와 '프롬프트' 예요. 얼마 전, 이런 기사가 있었습니다. 샘 알트먼 "챗GPT"에 '감사합니다' 할 때마다 수천만 달러를 지출하고 있다. 공손한 프롬프트는 AI가 실제로 더 나은 응답을 하게, 사용 신뢰에 있어 매우 중요한 요소입니다. 🔥 기사: https://futurism.com/altman-please-thanks-chatgpt ✔️ 왜 그럴까요? 작년에 'LLM에게 공손해야 할까?' 라는 주제로 피드를 썼습니다. 글에서 말씀 드린 것처럼 '공손한 언어'는 LLM에게 더 좋은 답변을 하게 합니다.

한국어로 프롬프트를 작성하는 방법 한국어는 맥락에 크게 의존하는 ‘고맥락 언어’입니다. LLM에 그대로 입력하면 종종 의도가 왜곡되거나 핵심이 누락됩니다. 저는 영어로 프롬프트를 작성하지만, 한국어만 해야하는 모델을 사용할 때는 다음과 같은 방법을 사용합니다. 1️⃣ 형태소 단위로 “의미 덩어리” 고정하기 고유한 의미 덩어리를 명확히 구분해야, 모델이 어절 간 경계를 놓치지 않습니다. 한국어는 한 어절 안에 조사, 어미, 접두사 접미사등이 붙어 있을 수 있어요. LLM이 input의 경계를 구분하는 과정에서 잘못 분리하게 되면 의미를 왜곡하기도 합니다. 그 결과 할루시네이션이나, 잘못된 답변을 생성합니다. ✅ 의미 덩어리(semantic chunk)란? 문장을 이루는 최소 의미 단위, 핵심 명사, 동사, 형용사 같은 틀을 말해요. ✅ 왜 고정해야 할까? LLM은 입력 텍스트를 내부적으로 토큰(token) 단위로 분해한 뒤 확률적으로 처리합니다. 의미 덩어리를 띄어쓰기나 강조 표시(…, 《…》)하면, 모델이 그 단어 그룹을 하나의 토큰 묶음으로 인식할 가능성이 높아집니다. 🔥 프롬프트에 적용하는 방법 ✔️ 꼭 띄어쓰기 하기: 모든 조사, 어미 앞뒤로 띄어 쓰기 ✔️ 주격 조사(은/는, 이/가), 목적격 조사(을/를) 꼭 써주기 ✔️ 핵심 어간 강조: 중요한 키워드를 굵게 혹은 << >>로 감싸 의미 경계를 표시하기 ✔️ 토큰 분할 도구 활용: KoNLPy 같은 형태소 분석기로 사전 테스트해 보세요. 모델이 한국어 문장을 어떻게 분해하는지 확인 후 프롬프트 결과를 고도화하기도 해요. 2️⃣ 한국어 특화 어말어미·어투 제어 ✔️ 어말어미 일관성 유지하기 ✔️ 존댓말(–습니다) vs 반말 중 하나 선택. Deferential form '-습니다'를 사용하면 openAI 모델은 답을 더 길고 상세하게 합니다. ⭕ 두 가지 방법의 프롬프트 기대 결과 모델이 핵심 정보(명사구·동사구 등 의미 단위)를 정확히 파악해, 출력의 일관성과 정확도를 크게 향상 시킬 수 있어요.

>> '프롬프트' 와 '구분 기호' 기호만 잘 사용해도 답변의 품질이 달라진다. 프롬프트 작성에서 기호 사용은 중요합니다. 구조화 때문인데요. 구조가 명확해지면, 모델이 불필요한 중복 설명을 하거나 엉뚱한 부분을 답변하는 확률이 줄어듭니다. 사용자가 어떤 기대 형식을 가지고 있는지도 모델에게 분명하게 전달할 수 있어요. 보안 측면에서도, 사용자 입력을 구분자로 묶어 프롬프트 주입 공격을 예방하기도 합니다. 이런 기호를 구분자 (Delimiters) 라고 합니다. ✅ 구분자란? 프롬프트 내부에서 서로 다른 부분을 명확히 구별하기 위해 사용하는 특수 문자열이나 기호. """ (트리플 따옴표), ` (트리플 백틱), --- (트리플 대시), <...> (각종 꺾쇠 괄호 또는 XML 태그) 등. → 구분자 사용은 프롬프트 엔지니어링의 기본 기법입니다. OpenAI 와 Anthropic 등의 모델사에서는 프롬프트에 기호 사용을 권장합니다. ✅ 구분자 사용이 LLM 응답 품질에 미치는 영향과 관련 연구 최근 2-3년간 프롬프트 형식이 LLM에 미치는 연구들이 진행되고 있습니다. 소형언어 모델일 수록 프롬프트의 형식이 LLM에 성능에 미치는 영향이 큽니다. Sclar (2023): 의미는 동일하고 표현이 다른 프롬프트 성능 편차 심함 입증. Voronov (2024): 프롬프트 템플릿을 잘못 선택하면 가장 성능이 좋은 모델도 정답률이 떨어짐을 입증.

Multi-Persona Collaboration 프롬프트 엔지니어링과 '인간의 사고' 여러 전문가 호출한다는 의미 한 사람이 여러 역할을 맡아 토론하는 AI 프롬프트 기법이 있습니다. 멀티 전문가 역할 지정, 페르소나 부여하기 기법은 자주 쓰는 방법입니다. 이 기법에는 "인간의 사고 과정"이 고스란히 담겨 있습니다. Multi-Persona collaboration 기법의 정의와 기능을 정리해봤습니다. ✅ 연구 제목 작년 3월 Synthminds 팀은 일리노이 대학교(University of Illinois)에서 진행된 아주 흥미로운 연구를 소개했습니다. 제목은 “Unleashing Cognitive Synergy In Large Language Models: A Task-Solving Agent Through Multi-Persona Self-Collaboration”입니다. ✅ SPP(Solo Performance Prompting) 기법 LLM(Large Language Model) 내부에 여러 ‘가상의 전문가(페르소나)’를 호출해 스스로 협업하며 문제를 해결하도록 유도하는 프롬프팅 방법. 예를 들어, 새로운 제품 아이디어를 구상한다고 하면 마케팅 전문가 페르소나는 시장 트렌드와 고객 니즈를 분석해주고, 엔지니어 페르소나는 기술적 타당성과 리소스를 검토합니다. 디자이너 페르소나는 사용자 경험과 미적 요소를 제안합니다. 이렇게 ‘가상 전문가 팀’이 주고받는 대화를 통해, 혼자서는 떠올리기 힘든 솔루션이 탄생하죠. 이것이 SPP 입니다. 여러 전문가 역할을 설정해 대화를 진행하는 것은, 우리가 여러 사람과 토론하며 아이디어를 발전시키는 모습과 흡사합니다. 이는 AI가 단순히 ‘최적의 답변’만을 내놓는 것을 넘어, 과정 중심의 사고를 수행하도록 하는거죠. ✅ 인간의 사고와 닮은점 세 가지 ✔️ Distributed Cognition (분산인지) 실제로 여러 사람이 모여 서로 다른 아이디어와 지식을 결합하는 것처럼, 모델 내부에서 ‘가상 전문가’들이 정보를 주고받으며 공동 해결책 도출

Few-shot prompting 과 Few-shot learning 의 차이점 ChatGPT같은 모델에 프롬프트를 쓴다고 즉시 학습되진 않습니다. Few-shot prompt engineering 기법은 기본 테크닉 중 하나입니다. A라는 과제를 하기 위해서 두 개 이상의 예제를 사용해서 결과물을 도출하는 방법입니다. 수업을 하다보면 '퓨샷 프롬프팅'과 '퓨샷 러닝'을 동의어로 사용하는 것을 흔히 들을 수있습니다. ❓LLM 모델에게 질문만 해도 모델이 학습되나요? 프롬프트 관련 자주 묻는 질문 그리고 잘못 알고 있는 것 중 하나입니다. ✅ Few-shot Learning 머신러닝 모델이 훈련단계에서 적은 수의 데이터를 사용하여 학습하면, 이를 바탕으로 새로운 데이터를 처리할 수 있게 하는 방법입니다. 사람이 새로운 단어를 한 두 번 들으면 바로 의미를 이해하고 사용하는 것처럼, 모델은 몇 가지 예제만 보고 학습할 수 있는 방식이죠. ✅ Few-shot prompting 이미 훈련이 끝난 LLM (대규모 언어 모델)이 추론 과정에서 몇 가지 예제를 참고하여 질문 (프롬프트)에 대한 결과를 생성하게 하는 기법입니다. 모델 자체의 파라미터는 업데이트 되지 않고, 주어진 프롬프트 (질문과 예제 등) 으로만 작동합니다. 📚 두 가지 개념이 정리된 논문들 Few-Shot Prompting (Brown et al., 2020) is the paradigm, where the GenAI learns to complete a task with only a few examples(exemplars). Few-Shot Learning (FSL) (Fei-Fei et al., 2006; Wang et al., 2019) is often conflated with Few-Shot Prompting (Brown et al., 2020). It is important to note that FSL is a broader machine learning paradigm to adapt parameters with a few examples, while Few-Shot Prompting is specific to prompts in the GenAI settings and does not involve updatingmodel parameters.