Google AI 검색 오류로 본 대형 언어 모델(LLM)의 한계와 개선 방향
제가 인공지능 관련해 이것 저것 물어보시는 분들께 늘 말하는게 "인공지능 = LLM이 아니며, LLM이 만능은 아니다."입니다. 하지만 별 관심은 없는 것 같습니다. 마케팅 분야에서 LLM을 찍었고 현재 가장 핫한 분야는 LLM이 맞기에 사실 힘없는 외침이긴 했는데 구글 검색 생성 결과 오류 사건이 발생하면서 개인적으로 약간의 과장된 기대감이 빠지고 생각을 해볼 수 있는 부분이 생겼다고 생각합니다. 최근 Google의 새로운 AI 기반 검색 기능인 "AI Overviews"가 잘못된 정보를 제공하면서 큰 논란이 일었습니다. 이를 두고 많은 사람들은 Google 검색 제국의 몰락을 예고하며 자극적인 논평을 쏟아내고 있습니다. 그러나 이 사건의 본질적인 원인을 파악하고, 유사한 오류가 다른 AI 시스템에서도 발생할 수 있는 이유를 이해하는 것이 중요합니다. 우리가 좀 더 생산적으로 이야기 하는 방법은 단순히 비난 하는 것이 아니라 Google AI 검색 오류의 원인을 살펴보고, OpenAI, Grok, LLaMA 등 다른 AI 시스템에서도 같은 문제가 발생할 수 있다는 걸 알고 대비하는 것이라 생각합니다. 실제로 레딧 등에선 Grok과 LLaMA에서 비슷한 류의 대답을 의도적으로 유도하는 방식이 성공했다는 글이 올라옵니다. (이것은 단순한 타 모델 흠집내기가 아닌 "생성"모델이 극복해야하는 문제라는 것이 핵심입니다.) 1. 대형 언어 모델(LLM)의 태생적 한계 대형 언어 모델은 웹상의 방대한 데이터를 학습하여 텍스트를 생성합니다. 문맥적으로 자연스러운 답변을 만들어내는 데는 뛰어나지만, 다음과 같은 근본적인 한계를 안고 있습니다. 훈련 데이터의 편향성: LLM은 인터넷의 공개 데이터로 학습합니다. 그런데 인터넷에는 믿을 만한 정보도 있지만 그릇된 정보도 많습니다. 이로 인해 모델이 부정확한 내용을 학습할 수밖에 없고, 결국 잘못된 답변을 내놓을 가능성이 커집니다. 맥락 이해의 부족: LLM은 단어와 문장 사이의 통계적 관계에 기반해 작동하므로, 인간처럼 깊이 있는 이해를 하기 어렵습니다. 이는 종종 문맥을 오해하거나 잘못된 결론에 이르게 만듭니다. 2. 환각(Hallucination) 현상 AI 분야에서는 LLM이 잘못된 정보를 생성하는 현상을 "환각"이라고 부릅니다. 환각은 LLM이 문맥에 맞지 않는 엉뚱한 내용을 만들어내거나, 사실과 다른 정보를 제시할 때 나타납니다. 잘못된 토큰 예측: LLM은 다음에 등장할 가능성이 높은 토큰을 예측하며 텍스트를 생성합니다. 하지만 이 과정에서 부적절한 토큰이 선택되면, 황당한 내용이 튀어나올 수 있습니다. 그릇된 정보의 학습: LLM은 훈련 데이터에 포함된 잘못된 정보마저 있는 그대로 받아들입니다. 가령, 인터넷 농담이나 사실무근한 글을 진실로 받아들일 수 있습니다. 3. Retrieval-Augmented Generation(RAG)의 한계 RAG는 LLM의 정확도를 높이기 위해 제안된 방법입니다. 먼저 관련 문서를 검색한 뒤, 이를 토대로 텍스트를 생성하는 방식입니다. 최근 정확성을 높이기 위한 방법으로 많이 언급되는 방법이나 기존 검색 연산에서 존재하던 방법론이긴 합니다. 어찌보면 이미 검증된 방법이라 효과는 확실합니다만 이 방법에도 한계가 있습니다. 부적절한 문서 검색: RAG는 웹상의 방대한 데이터를 기반으로 문서를 찾습니다. 이때 부정확한 정보가 담긴 문서가 검색될 수 있고, 이는 다시 잘못된 답변으로 이어집니다. 맥락 해석의 오류: LLM은 검색된 문서를 바탕으로 텍스트를 만들어내지만, 여전히 문서의 맥락을 잘못 파악할 수 있습니다. Google AI 검색 오류 사례 Google의 AI Overviews 기능은 LLM의 이러한 한계를 여실히 보여주었습니다. AI Overviews는 사용자 질문에 직접 답하려 하지만, 부정확하거나 잘못된 정보를 내놓는 경우가 많았습니다. 이는 다음과 같은 문제로 이어집니다. 지금 인터넷 등에서 퍼지고 있는 오류는 크게 두가지 입니다. (위의 스크린샷) 피자에 접착제를 바르라는 제안 피자에 치즈를 잘 붙이기 위해 접착제를 사용하라는 잘못된 정보를 제공 돌을 먹으라는 권장
- Haebom
1