LLM으로 쓰면 감쪽같을까? "LLM으로 쓴 글에는 패턴이 보인다"
T
Two_Jay
Subscribe
프롬프트 엔지니어링
카테고리
Empty
요즘 블로그, 포스트 등을 읽다 보면 이상한 기시감이 듭니다. 일단 글을 아무거나 세 개를 드려보겠습니다. 한 번 읽어보실까요?
1.
"2023년 글로벌 반도체 시장은 5740억 달러를 기록했다. 이는 전년 대비 8.2% 감소한 수치다. 주요 요인으로는 PC와 스마트폰 수요 둔화, 인벤토리 조정 등이 꼽힌다. 이러한 수치들은 단순한 시장 변화가 아니라, 기술 패러다임 전환기의 깊은 통찰을 제공한다."
2.
"ChatGPT 출시 이후 월간 활성 사용자가 1억 명을 돌파했다. 이는 역사상 가장 빠른 성장 속도다. 구글 검색량도 급증했다. 이는 인류가 정보와 상호작용하는 방식의 근본적 변화를 시사한다."
3.
"테슬라의 2분기 전기차 인도량은 46만 6140대로 예상치를 하회했다. 중국 시장 경쟁 심화와 가격 할인 정책의 영향으로 분석된다. 이러한 현상은 전기차 시장의 성숙화 과정에서 나타나는 심층적 역학을 드러낸다."
"2023년 글로벌 반도체 시장은 5740억 달러를 기록했다. 이는 전년 대비 8.2% 감소한 수치다. 주요 요인으로는 PC와 스마트폰 수요 둔화, 인벤토리 조정 등이 꼽힌다. 이러한 수치들은 단순한 시장 변화가 아니라, 기술 패러다임 전환기의 깊은 통찰을 제공한다."
2.
"ChatGPT 출시 이후 월간 활성 사용자가 1억 명을 돌파했다. 이는 역사상 가장 빠른 성장 속도다. 구글 검색량도 급증했다. 이는 인류가 정보와 상호작용하는 방식의 근본적 변화를 시사한다."
3.
"테슬라의 2분기 전기차 인도량은 46만 6140대로 예상치를 하회했다. 중국 시장 경쟁 심화와 가격 할인 정책의 영향으로 분석된다. 이러한 현상은 전기차 시장의 성숙화 과정에서 나타나는 심층적 역학을 드러낸다."
무언가 보이셨나요?
문장은 완벽하고 정보는 양적으로 풍부해보여도, 뭔가 어색한 글들이 늘고 있습니다. 처음엔 그냥 제 착각인 줄 알았는데, 몇 달 동안 의식적으로 관찰해보니 확실한 패턴들이 보이기 시작했습니다. LLM으로 생성하는 글은 정말 아무도 모르게 "감쪽"같을까요?
당연히 아닙니다. LLM이 생성하는 글들은 정교한 프롬프트가 없다면, 흔하게 나타나는 패턴이 있습니다. 이런 패턴은 우리가 으레 좋아하는 패턴이지만, LLM으로 블로그나 포스팅 자동화에서 아주 자주 보이는 패턴이기도 하지요.
📝 영어 병기의 어색한 남발
첫 번째로 LLM 글을 볼 때 눈에 띄는 건 갑자기 뜬금없이 나오는 한영 병기표현입니다.
개념들을 나열하고 설명할 때, 한국어 키워드와 영어를 뜬금없이 병기합니다. "그럴만큼 그 단어가 해당 문맥에서 유니크하고 필요한 것인가?" 라고 생각하면 그렇지도 않습니다. 일반적인 단어를 지나치게 특별하고 유니크한 것인양 의미를 부여하고 Bullet Points 까지 찍어서 강조하는 것을 정말 많이 봅니다.
•
"리더십(leadership)의 핵심은 비전(vision) 제시다"
•
"혁신(innovation)은 창의성(creativity)에서 나온다"
이런 Bullet Points를 찍어서 요점을 정리하는 것은 인간도 자주쓰는 패턴이지만, LLM은 길게 작성하는 모든 글에서 요점을 정리하려하고, 포인트를 집어서 핵심화시키는 것이 주요한 패턴입니다. 과도한 Bullet Points와 요점 요약이 함께 드러나는 것은 언어를 가리지 않고 나타나는 특성이기도 합니다.
🎭 마지막 문장의 철학자 코스프레
더 흥미로운 건 문단 마지막 문장의 패턴입니다. 앞의 90%는 정확한 팩트를 나열하다가, 마지막 한 문장에서 갑자기 철학자가 됩니다. LLM은 주어진 정보에 대해서 해석하고 답하는 패턴을 보이기에, 마지막에서 그 정보를 반영하여 과도한 의미부여를 하곤 합니다.
처음의 예제에서와 같이 "이런 지표들이 단순히 숫자가 아니라 우리 사회의 심오한 의미를 드러낸다"거나 "이는 중요한 시사점을 제공한다"같은 식으로. 마치 모든 정보에 반드시 깊은 의미를 부여해야 한다고 생각하는 것 같습니다. 단순한 정보 전달도 반드시 심오한 통찰로 승화시키려 하고, 이는 문단이나 글 전체에서 마지막 부분에 두드러지게 등장합니다.
제가 하는 작업과 같이 LLM 글을 판독하는 경우, 이 마지막 문장과 결론에 주목해서 팩트체크를 하거나, 내리는 해석의 의미가 정당한지 검토하시면 좋습니다. 각 문단의 마지막에서 새로운 주장을 하는 경우, 그 문장의 주장이 어떻게 확장되고 글 전체에서 의미를 부여하는지 확인해보세요. 이 부분에서 비약이 생기는 경우라면 특히 주의하고 글을 읽어야 할 것 같습니다.
최근 Gemini API를 대량으로 써가며 얻은 실험으로는, 과도한 정보를 프롬프트에 입력하고 답변을 기대할 때, LLM의 사고의 흐름은 정보를 '해석하여 더 깊은 포인트를 찾거나', 아니면 '새로운 인사이트를 찾아내는' 방향으로 흐르는 경향을 프롬프트에서 별도의 명령이 없어도 확실히 보인다는 것이었습니다. 이런 경향은 정보가 덜 주어질 때 확실히 옅어집니다.
📚 강박적인 정리 욕구
LLM은 정말 '정리'를 좋아합니다. "결론적으로", "종합하면"으로 시작하는 문단이 거의 필수처럼 등장합니다. 사람이 글을 마무리 지을 때는 다양한 변화의 형태를 가지는 경우가 참 많은데, AI는 모든 걸 깔끔하게 해석하고, 포장하고, 결론내고 싶어합니다. 이 강박적인 정리 욕구는 정말 독특하다고 할 수 있습니다.
"결론적으로, 디지털 전환은 단순한 기술 도입이 아닌 조직 문화의 근본적 변화를 의미한다. 우리는 이러한 변화에 능동적으로 대응하여 새로운 가치를 창출해야 할 것이다."
"종합하면, 메타버스는 가상과 현실의 경계를 허무는 새로운 패러다임이다. 기술적 진보와 사회적 수용성이 함께 발전할 때 진정한 메타버스 시대가 열릴 것이다."
"요약하자면, AI 기술의 발전은 인간의 역할을 대체하는 것이 아니라 확장하는 방향으로 나아가고 있다. 우리는 이러한 변화에 적극적으로 참여하며 미래를 준비해야 한다."
"종합하면, 메타버스는 가상과 현실의 경계를 허무는 새로운 패러다임이다. 기술적 진보와 사회적 수용성이 함께 발전할 때 진정한 메타버스 시대가 열릴 것이다."
"요약하자면, AI 기술의 발전은 인간의 역할을 대체하는 것이 아니라 확장하는 방향으로 나아가고 있다. 우리는 이러한 변화에 적극적으로 참여하며 미래를 준비해야 한다."
😐 감정의 리포트화
감정 표현도 묘하게 어색합니다. "약간의 흥분 그리고 우려", "아드레날린이 조금 도는 정도"처럼 감정을 표현할 때도 마치 실험 보고서를 쓰는 것 같다고 볼 수 있습니다. 진짜 사람이라면 이렇게 이야기할까요?
•
"상당한 불편함을 감지했다"
•
"높은 기대감과 긍정적 전망을 보인다"
•
"예상치 못한 반응을 나타냈다"
•
"강한 저항감을 드러냈다"
•
"이 작품을 관람하는 동안 높은 몰입도와 함께 감정적 동요를 경험했다"
•
"스토리 전개 과정에서 예측 불가능성에 대한 긍정적 반응이 나타났다"
•
"마지막 장면에서 강렬한 카타르시스적 효과를 체감했다"
💣 LLM 이기에 필연적으로 오는 할루시네이션
근본적으로 LLM은 "사용자의 요청에 따라 학습되거나 주어진 정보를 기반으로 답하는 확률연산 구현체"라는 기술적인 정의에 한 번 기대어 봅시다. 그렇다면 지금 우리가 자동화해서 LLM에게 "특정한 주제에 대해서 글 하나를 생성해"라고 돌린다면, 이 글은 얼마나 최신의 정보를 정확하게 해석할 수 있을까요?
실제로 할루시네이션은 LLM의 원리상 생겨날 수 밖에 없는 이슈고, 최근의 성능 개선으로 확률은 줄어들었지만 그 확률이 0%라고는 말할 수 없습니다. 최근에 발달된 모델에서 나오는 할루시네이션은 위에서 설명한 패턴과 함께 동작하여 응답 결과에 부분적으로 유효하지 않은 정보들을 섞는 형태가 더 자주 발견되고 있습니다. 이제 빈번하게 고의적으로 뻔뻔하게 거짓말하지는 않지만, 은연 중에 진짜인 것처럼 유효하지 않은 정보를 부분적으로 섞고 있는 경우가 나오는 것이지요.
다음의 실제 사례들을 봅시다.
1.
Cursor.ai YOLO mode
이렇게 쓰니 진짜 YOLO mode 가 있는 것 같지만, 이 글을 쓰는 현재는 YOLO mode 는 사라졌습니다. 글의 작성 시점에서 2개월 전에 YOLO mode 는 Agent mode 에서 auto run mode 로 바뀌었으니깐요. 글에서 설명하는 Chat & Composer 항목도 Composer mode 가 커서에서 사라진 이후로 사라졌습니다.
왜 이런 경우가 생길까요? 소프트웨어 생태계에서는 최신성 있는 업데이트를 반영하는 것이 무엇보다 중요합니다. 최신의 정보는 곧 가장 높은 신뢰도를 가지고 있지요. 최신의 정보만을 선별적으로 가져오기보다, 중요도가 크게 잡히고 반복적으로 언급되는 정보일수록 강조할만한 정보라고 인식하기 때문입니다.
마침 Cursor.ai 의 YOLO mode 가 그 동안의 레퍼런스들이 높은 빈도로 잡혔을 것이구요. 과거에는 쓰였지만 지금은 더이상 작동하지 않는 기능이나 인터페이스, 모듈이나 코드를 추천하는 것도 어떻게 보면 동일한 원리입니다.
2.
Google I/O 25"
이 글에서는 무엇이 검증받을만 할까요? 이 글에서는 두 가지 포인트가 있습니다.
Veo3 와 AI mode 는 공개 당시 미주지역에서만 공개되어 그 외의 국가에서는 활용할 길이 없었습니다. 두 번째로는, AI mode 에서 예시로 든 "실제 체험 예시"에서 카메라를 사용한 항목들은 구글의 AI mode 의 내용이 아닌, Project Astra가 기반이 된 Search Live의 내용이라는 점입니다.
이 또한 길고 큰 정보를 극단적으로 함축하면서 나타나는 흔한 할루시네이션 패턴입니다. 극단적으로 많은 정보를 세부적으로 다루지 않고 하나의 카테고리로 묶으면 그 정보들을 뭉게고 편집하는 과정에서 어떤 대상에 대한 설명을 다른 대상에 대한 것으로 서술할 수 있습니다. 세부적인 디테일 또한 함께 뭉게어지면서 그것은 아예 "없는 정보"인 양 반영되어 생성되는 것도 주의해야할 패턴 중 하나입니다.
3.
Gemini Pro
위에서 나타나는 고정적인 패턴과 더불어, 기술적인 내용에서의 잘못된 판단과 할루시네이션 여부를 검토할 수 있는 좋은 레퍼런스입니다. Gemini 2.5 Pro 의 Context Window 는 1백만 토큰입니다. API 가격 표기 또한 오류입니다. 실제 가격은 $2.5/15 per 1M tokens 이고, 이 글에서는 20만 토큰 이하 가격만이 전부인 것처럼 이야기하고 있습니다. 싸고, 더 부각시킬 수 있는 정보로 편향된 것입니다.
과도한 해석을 내리는 경향이 이 글의 전체적인 구조를 보면서 어떤 영향을 미치었는지도 보면 좋을 것 같습니다. 초기에 "추론력의 경제학"으로 의미를 부여한 것에 근거를 찾기 위해 무언가를 가져와서 글을 보강했지만, 의미 부여에 집중한 나머지 세부적인 근거를 뜯어보면 그것이 적절하지 않거나, 이미 동일한 사례가 이전에 있던 것을 왜곡해서 적용한 것을 볼 수 있습니다.
여기서 Gemini 2.5 Pro 가 제공하고 있던 '싸면서도 합리적으로 좋은 사고력의 모델'은 Gemini 1.5 시절부터 계속해서 제공해오던 구글의 모토입니다. "AI의 사고력은 비용을 통해서 계량 가능하다"도, 구글이 시작한 것이 아니라 OpenAI가 API 서비스를 시작할 때로 측정해야지요. LLM의 추론을 "가격"을 받고 팔기 시작한 시점으로 측정해야 하니깐요.
대개 이렇게 LLM이 자동화하여 쓴 글에서 할루시네이션이나 거짓 정보, 과장이 포함되는 시점은, 레퍼런스를 잘못 참조하여 해석을 틀리게 내리는 경우, 혹은 스스로가 내린 과도한 해석이 증폭되는 경우에 많이 등장합니다. 글 앞에서 심오한 의미가 있다고 단정지은 LLM은 그 글을 이어오면서 글 전체에서 심오한 의미만 파고들게 되고, 결국 그 글은 정확하지 않은 해석과 정보를 담게되는 것처럼요.
😥 느낀점
개인적으로는 LLM 자체는 좋은 도구라고 생각합니다. 그렇지만, 무분별하게 '찍어내는' 컨텐츠가 과연 사용자에게 제대로 된 인사이트를 줄 수 있을지가 의문입니다. 독자들은 검증도 없이 올려진 글이 LLM으로 찍어내는 글인 줄 모르고 잘못된 정보나 과도한 해석을 신뢰할 수 있죠. 그러면서 인터넷이 점점 비슷비슷한 '양산형 지식'으로 가득 차고 있다는 점은 우리가 누리는 네트워크에서 큰 악재가 될 수 있다고 생각합니다.
사용자에게 아무런 감동도 줄 수 없는 컨텐츠면서 인터넷을 잠식하는 천편일률적인 LLM 결과물이 넘쳐나는 게 우려됩니다. 그러면서도 생각이 드는 것은 결국 진짜 전문성과 독창적인 인사이트가 더욱 귀해지는 시대가 올 것 같네요. 사람은 진실한 정보에 도움을 받고 감동을 받기 위해 자료를 찾는 것일테니깐요.
사실 이러한 패턴들을 알고있으면, 이런 패턴들을 '회피'하는 방법도 금방 만들 수 있습니다. 그런데 왜 그렇게 안할까요? 왜 이런 게시글이 찍혀져 나오는 듯이 계속해서 생성되고 쌓이고 있을까요?
이런 패턴을 곧잘 회피하는 방법은 "사람의 글쓰기 패턴에 맞추어" 글을 쓰는 파이프라인을 구현해야하기 때문입니다. 주어진 주제에 맞게 글쓰기 전략을 구상하고, 주제에 관한 정보를 조사하고 적절하게 증강하며 확인하고, 세밀하게 작업영역을 설정하여 생성하는 파이프라인을 만들어야 하기 때문입니다. 이런 일을 하는 것은 보통의 프롬프트 하나 둘로 해결되지 않고, 많은 문제들을 생각하는 설계와 구현이 동반되어야 합니다.
다만 간단하게 블로그 자동화를 구현해야하는 입장에서는 이게 쉽지만은 않겠죠.
이런 패턴을 곧잘 회피하는 방법은 "사람의 글쓰기 패턴에 맞추어" 글을 쓰는 파이프라인을 구현해야하기 때문입니다. 주어진 주제에 맞게 글쓰기 전략을 구상하고, 주제에 관한 정보를 조사하고 적절하게 증강하며 확인하고, 세밀하게 작업영역을 설정하여 생성하는 파이프라인을 만들어야 하기 때문입니다. 이런 일을 하는 것은 보통의 프롬프트 하나 둘로 해결되지 않고, 많은 문제들을 생각하는 설계와 구현이 동반되어야 합니다.
다만 간단하게 블로그 자동화를 구현해야하는 입장에서는 이게 쉽지만은 않겠죠.
Subscribe to 'Two-Jay_prompt_engineer'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'Two-Jay_prompt_engineer'!
Join Slashpage and subscribe to 'Two-Jay_prompt_engineer'!
Subscribe
6