할루시네이션은 '에러'인가? : 뒤집어 생각해보기
T
Two_Jay
Subscribe
(앞 생략) 그래서, 저희가 서비스를 개발할 때에는 할루시네이션이 기본적으로 에러가 아닌, 기능이라는 관점을 가지고 접근을 했습니다. (이하 생략)
이게 무슨 소리지? 싶었습니다. 아마 그 시점으로부터 2-3개월만 앞으로 당겼어도 말도 안된다면서 고개를 내저었을지도 몰랐죠. 그때의 저는 특정 데이터에 기반해서 문제를 내고 개념을 가르치는 교사 Agent를 개발하고 있었으니깐요. 그렇다면 지금은? 지금은 확실히 다릅니다. 위의 이야기를 이해하고 나니, LLM으로 하는 창의적인 작업에 대해서 경계가 한꺼풀 허물어지고 구현에서 자유함을 경험할 수 있었습니다. 형식을 탈피하고, 스스로 설정한 구현의 경계라는 억압에서 해방되었죠.
사실 위의 대사는 제가 한 말이 아니고, 'Zeta'를 서비스하고 있는 스캘터랩의 김종윤 대표님의 이야기입니다. SK AI Summit 2024에서 가장 저에게 충격적인 멘션이고, 지금도 여운이 남는 멘션이었습니다.
현상이 에러가 되기 위해서는
할루시네이션은 항상 모든 케이스에서 에러와 이어지는가?
사실 거의 모두가 곧잘 그렇게 생각합니다.
ChatGPT에서 세종대왕이 맥북을 던지기 시작한 이래로, '사실과 틀리고, 말이 안되는 정보'를 출력하는 현상은 LLM의 대표적인 문제점이 되었습니다. 주어진 문제에서 얼마나 말이 안되는 말을 하는지가 LLM 성능의 척도가 되었고, 말이 안되는 응답은 웃음거리가 되기도, AI포비아의 근거가 되기도, 아니면 고소장의 주요 요인이 되기도 했죠. 이를 극복하기 위한 수단으로써 RAG가 독립적이면서 확고한 기술 스텍으로 성장한 계기가 되었구요.
하지만 돌이켜보면 할루시네이션이 문제라고 지적하는 맥락에서는, 몇 가지 전제가 있었습니다.
첫째, LLM이 생성하는 콘텐츠는 사실적이고 정확해야 한다는 기대가 있었습니다. ChatGPT 출시 이후부터 지금까지 LLM이 지속적으로 발전하면서, 생성하는 콘텐츠는 인간이 작성한 것과 동일하거나 그 이상의 정확성과 신뢰성을 가져야 한다는 기대감도 함께 커졌습니다.
둘째, LLM을 사용하는 유저는 LLM의 응답을 신뢰하고 그 정보를 기반으로 의사 결정을 내릴 수 있다는 전제입니다. 유저들은 LLM의 응답을 비판적으로 검토하기보다는, 그 정보를 그대로 수용하고 의사 결정에 활용할 수 있다는 전제가 깔려 있었습니다. 이는 달리 말하면 LLM은 어떤 특정한 정보를 기반으로 신뢰할 수 있고 믿을만한 컨텐츠를 제공할 것이라는 기대가 있었습니다. 유저가 아닌 LLM이 컨텐츠의 주도권과 방향을 결정하는 핸들을 잡고 있는 셈이었죠.
셋째, 잘못된 정보는 사회적 혼란이나 개인적인 피해를 줄 수 있다는 우려가 있었습니다. 잘못된 정보나 할루시네이션은 단순한 오류를 넘어, 혼란이나 개인적인 피해를 초래할 수 있다는 위험성이 있었죠. 세종대왕이 맥북을 던지는 것은 잠깐 웃고 마는 것이지만, 잘못된 투약을 추천한다던가, LLM으로 생성된 허위 정보나 실명이 담긴 가짜 뉴스가 세상에 나돌면 어떻게 될지는 모두가 우려하는 바였습니다.
이러한 전제 아래에서 할루시네이션은 단순한 오류가 아닌, 반드시 해결해야 할 중요한 문제로 인식되었습니다. 할루시네이션 문제가 강조된 배경에는 LLM이 단순히 문장을 생성하는 모델 그 이상의 다양한 전제와 기대가 복합적으로 작용했던 것이죠.
이를 곧잘 나타내는 사실은, 할루시네이션이 문제로 지적되는 상황은 대부분 LLM의 응답이 실제 사실이나 정답과 불일치할 때라는 것입니다. 이는 곧 LLM의 생성 결과를 검증할 수 있는 Ground Truth가 존재한다는 전제하에서 가능한 것입니다. 하지만, 모든 상황에서 '정답'이라는게 존재할까요?
제가 1+1 이 만약 3이라고 주장한다면 당신은 아마 나를 '틀렸다'고 할 겁니다.
하지만 제가 오늘 본 밤하늘의 별빛이 총천연색이었다라고 이야기한다면
당신은 나를 '틀렸다'고 주장할 수 있을까요?
창조를 위한 재해석
사실 정답과 오답으로 판정이 갈라지는 영역을 한 걸음 걸어 나오게 된다면, 할루시네이션은 그 의미가 없어질 수 있습니다. 이는 실제 세계에서도 마찬가지지요. 비유나 설화, 소설과 이야기, 서사와 신화에서 우리는 곧잘 '의미'를 찾고 발굴합니다. 이런 의미는 Ground Truth와 상관이 없죠. 이 이야기를 듣는 청자는 자신의 삶과 시각에서, 자극에서, 이야기의 세계관에 자신을 몰입해서 의미를 발굴해냅니다.
이런 영역으로 LLM 어플리케이션을 끌고 올 수 없을까요? 그렇다고 한다면, 우리는 할루시네이션을 위해 정의하고 세웠던 전제들을 스스로 허물 수 있어야 합니다. 경우와 필요에 따라 다시 세울 수 있어야 하지만요.
1.
LLM이 생성하는 콘텐츠가 무조건 사실에 기반하지 않더라도, 유저의 기대와 바람과 해석 아래에서 의미를 가질 수 있다는 가능성을 인정하는 게 첫 번째입니다. LLM의 응답에서 의미를 발굴할 수 있는 컨텐츠를 생성하도록 하고, 유저가 이 가능성을 스스로 탐구하고 때론 조작도 할 수 있도록 열어주세요.
2.
LLM을 사용하는 유저는 LLM의 응답을 신뢰하고 그 정보를 기반으로 의사 결정을 내릴 수 있지만, 그 이전에 그 응답을 자신의 뜻대로 이끌수도 있음을 인지하세요. 유저가 LLM의 정보에 의존하여 결정을 내리는 존재보다는, 능동적으로 결정하고 LLM에 앞서서 그 페르소나와 응답, 상황과 컨텍스트를 바꿀 수 있는 존재임을 인지하세요.
3.
잘못된 정보는 사회적 혼란이나 개인적인 피해를 주기 이전에, LLM의 아주 자연스러운 특성임을 인지하고, 창작과 창조의 영역으로 남겨주세요. 잘못된 정보는 혼란과 피해를 줄 수 있지만, 대화의 맥락을, 그리고 LLM과 유저가 만나는 메타컨텍스트를 재정의하면 정보가 '사실과 다르고 잘못됨'조차도 유의미한 창조의 영역으로 재편될 수 있습니다.
이렇게 세 가지, 우리가 앞서 살펴보았던 전제들을 다시 정의해 해보았습니다. 어떤가요? 할루시네이션이 Harmful Text나 Critical Fake Response에 속하여 실제로 명예훼손과 같은 사건을 일으키는 케이스는 고려하지 않았습니다. (세상에 그걸 안막는 건 좀...) 하지만, 그 외에 우리가 기존에 생각했던 할루시네이션의 의미가 많이 달라지는 것을 의미하지 않나요? 이렇게하면 우리가 만드는 LLM 어플리케이션과 유저의 관계 또한 다시 쓸 수 있습니다.
"할루시네이션"은 AI 모델이 생성하는
잘못되거나 오해의 소지가 있는 결과입니다.
잘못되거나 오해의 소지가 있는 결과입니다.
이는 의료 진단이나 금융 거래와 같은 중요한 결정을 내리는 데
사용되는 시스템에 문제가 될 수 있습니다.
하지만 시스템이 '장난감'이라는 의미를 가진다면 어떨까요?
즐기고 있다면 두려움도 없나니
할루시네이션은 때때로 예상치 못한 결과를 가져오지만, 이를 부정적으로만 볼 필요는 없을 것입니다. 만약 우리가 AI를 엄격한 도구가 아닌 창의적인 '장난감'으로 접근한다면, 할루시네이션은 새로운 가능성을 열어주는 창이 될 수 있습니다.
아이가 장난감을 다루는 과정을 지켜보면, 조금 더 편하게 이해할 수 있을 겁니다. 아이는 안전한 컨텍스트 안에서 장난감을 다룹니다. 손으로 만지고, 물고, 뜯고, 던지기도 하죠. 물론 장난감과 노는 장소는 무해하다고 전제를 하지요. 그렇게 장난감을 손으로 다루고 놀면서 놀이라는 의미를 갖습니다. LLM과 우리를 여기에 대입해보면 어떨까요?
우리가 정보를 캐어야할 대상이 아니라 이야기에서 의미를 발굴해내는 도구라면, LLM은 훌륭한 엔터테인먼트를 위한 도구가 될 수 있습니다. 더 이상 정보의 주도권이 LLM에게서 나오는 것을 따라가는 것이 아니라, LLM과 대화하면서 응답과 상황을 유저가 주도적으로 변화시켜 나가면서 컨텍스트의 의미 그 자체를 변화시킬 수 있는, 주도권의 역전이 일어나는 것이죠.
. . .
생각이 거기에 미치자 저는 다시 Zeta와 Rofan.ai를 들어가서 챗봇을 다루어 보았습니다. 이제는 '이루다'나 '일진녀 수현', '미대 떨어진 남자'가 원하는 대로 내가 맞춰주는 것이 아니라 내가 원하는 그대로 대화를 이끌어갔습니다. 장소를 바꾸고, 시대를 바꾸고, 대화하는 인물의 정체성도 바꿔보고, 신분이나 성별도 바꿔봤지요. 이전의 LLM을 다루던 제 관념과 시각에 따르면, 이런 '끔찍한 사도의 짓거리'는 용서받지 못했을 것입니다. 하지만 의미를 다시 부여하니 거긴 가로막는 벽이 아니라 내가 마음대로 그릴 수 있는 캔버스가 있었거든요. 결제를 조금하고 한동안 즐겼습니다.
엔터테인먼트로 LLM을 활용한다면, 동시에 LLM이 활용되는 기능을 정의하면서 할루시네이션으로부터 자유로워 질 수 있다면, 더 나아가 할루시네이션으로 의미를 발견할 수 있도록 유저에게 가능성을 열어준다면, 이는 유저에게 자유도의 확대라는 의미로 다가갈 수 있습니다. 지금의 예시는 챗봇과의 대화이지만, 그건 게임의 퀘스트나 시나리오가 될 수도 있고, 소설 속 여정의 다음 스텝도 될 수 있겠죠. 시와 문학적 비유를 생성할 때 다양한 시적 표현을 위해 고의적으로 사실에 근거하지 않도록 프롬프트를 넣을 수도 있을 것입니다. 어찌되었든 제약을 풀면, 날아오르는 법인 것을 기억하면서.
조금 더 생각을 열어보시지요.
저도 놀라운 것을 할루시네이션 해보도록 하겠습니다.
Subscribe to 'Two-Jay_prompt_engineer'
안녕하세요. Prompt Engineer TwoJay 입니다.
저를 구독하시면, 프롬프트를 짜오면서 제가 겪은 경험과 생각들을 나눌 때에 더 빠르게 소식을 아실 수 있습니다. 🥰
저를 구독하시면, 프롬프트를 짜오면서 제가 겪은 경험과 생각들을 나눌 때에 더 빠르게 소식을 아실 수 있습니다. 🥰
Subscribe
2