# 검색 시장의 붕괴, 진짜일까?

최근 인공지능(AI)의 급격한 발전과 거대언어모델(LLM)의 등장으로 검색 시장이 곧 붕괴될 것이라는 예측이 많습니다. 특히, LLM이 방대한 데이터로 학습되어 대부분의 질문에 답변할 수 있다는 점, 그리고 실시간 정보나 특정 분야의 전문 지식을 RAG(Retrieval-Augmented Generation) 방식으로 처리할 수 있다는 이유를 들어 검색 엔진의 역할이 축소될 것이라 말합니다. 그러나 이는 검색 시장의 본질을 단순화한 지나치게 1차원적인 생각일 수 있습니다.

![2024년 9월까지 검색엔진 트레픽](https://upload.cafenono.com/image/slashpagePost/20241022/145446_jcXij4OaB16MR0iJPz?q=80&s=1280x180&t=outside&f=webp)

## 검색 결과와 생성 결과는 다르다.

Perplexity, ChatGPT, Bing Copilot 등 AI 기반 서비스가 새로운 형태의 검색 경험을 제공하고 있지만, 여전히 전통적인 검색 엔진과의 공존을 통해 작동하고 있습니다. AI 기반의 정보 요약 기술이 유용하긴 하지만, 사용자들이 필요로 하는 모든 정보를 제공하기에는 한계가 있으며, 완전한 대체는 어렵습니다. AI는 여전히 기존 웹사이트의 방대한 데이터를 필요로 하며, 이는 SEO 전략이 앞으로도 중요한 이유를 설명해줍니다. ~(개인적으로 네이티브 앱의 시대는 저물어가고 다시 웹(앱)의 시대가 다시 폭발하지 않을까...)~

[Serper - The World's Fastest and Cheapest Google Search API](https://serper.dev/)

[ScraperAPI - Scale Data Collection with a Simple API](https://www.scraperapi.com/)

검색 결과 데이터를 VectorDB 형식으로 말아주는 서비스들도 이미 많이 존재합니다.

실제로 기존 검색시장이 망할 거라고 하는 이들이 드는 근거는 다음과 같습니다:

- 기존 검색 엔진은 광고 및 피싱 사이트에 오염

- 거대언어모델(LLM)에는 다양한 분야의 지식이 들어가 있기에 대부분의 질문에 대해 답변 가능

- 실시간 정보나 특정분야의 전문지식은 RAG 등의 방식의 해결책이 제안됨

사실 이건 애매한게 언어모델도 편향성과 광고를 붙이는 것은 얼마든지 가능하고 애초에 이런 언어모델들이 주기적으로 학습하거나 라이브 스트림 데이터를 반영하려면 검색 엔진을 쓸 수 밖에 없습니다. 챗봇에게 이것저것 물어보다 할루시네이션 발생하니까 결국엔 돌고 돌아 출처를 원하는데 그게 결국엔 검색입니다.

### 1. **검색 엔진의 본질: 정보의 연결**

- **방대한 정보의 필요성**: 전 세계에는 셀 수 없이 많은 웹사이트가 존재하며, 이들이 제공하는 정보의 양과 다양성은 AI가 스스로 생성할 수 있는 지식의 한계를 넘어섭니다. LLM이 아무리 발전하더라도, 새로운 데이터를 지속적으로 수집하고 반영하기 위해서는 여전히 검색 엔진의 역할이 필요합니다. AI는 기존 데이터를 학습하여 답변을 생성하는 반면, 검색 엔진은 최신 정보를 수집하고 연결하는 데 강점을 가지고 있습니다.

- **신뢰성과 검증의 문제**: AI 모델은 학습 데이터의 신뢰성에 의존하기 때문에 정보의 정확성과 신뢰성을 보장할 수 없습니다. 사용자는 여전히 검증된 출처와 신뢰할 수 있는 웹사이트를 통해 정보를 확인할 필요가 있으며, 이는 검색 엔진이 제공하는 기능입니다.

⇒ 결국 SEO는 필요합니다. 실제로 Naver CUE;나 Perplexity를 써보면 광고성 콘텐츠들이 출처로 쓰이는 경우가 많습니다. 이건 해당 서비스나 모델의 문제가 아닌 검색이라는 것 그리고 이 검색 시장 논리에 따른 어쩔 수 없는 형태 입니다.

### 2. **SEO와 AI의 결합: 새로운 검색 경험**

- **AI 기반 정보 요약과 검색의 공존**: Perplexity와 같은 AI 기반 검색 서비스는 정보를 요약하고 빠르게 제공하는 데 탁월하지만, 여전히 구글 검색 API와 같은 기존 검색 엔진의 데이터에 의존합니다. 이는 AI와 전통적인 검색 엔진이 서로를 보완하며, 더 나은 사용자 경험을 제공할 수 있음을 의미합니다.

- **RAG 활용**: 검색 엔진과 AI 기술이 결합되어 RAG와 같은 실시간 정보 제공 방식을 발전시키고 있습니다. 이를 통해 실시간 검색 결과와 AI 요약이 결합되어 사용자가 필요한 정보를 더 빠르고 정확하게 찾을 수 있습니다.

**2024년 5월에 공개된 Google의 검색 품질 평가 가이드라인을 보면 이것은 더욱 뚜렷합니다. (SEO 관심 있으시면 꼭 읽어보시길 바랍니다.)**

General Guidelines Overview.pdf

## E-E-A-T 전략을 통한 SEO 강화

인공지능 시대에도 검색 엔진이 살아남기 위해서는 E-E-A-T(Experience, Expertise, Authoritativeness, Trustworthiness) 전략이 매우 중요합니다. 저는 SEO 전문가나 마케팅에 대한 전문가는 아닙니다. 마케팅쪽 일을 안한지도 수년이 지났구요. 하지만 이 네 가지 요소는 검색 엔진이 콘텐츠의 품질을 평가하는 중요한 기준이며, SEO 전략을 세우는 데 핵심이 됩니다. 이를 각 요소별로 구체적으로 설명하면 다음과 같습니다.

### 1. **Experience (경험)**

- **사용자 경험 기반의 콘텐츠 제공**: 검색 엔진은 사용자가 실제로 콘텐츠를 경험하며 얻는 가치를 중요하게 평가합니다. 사용자 리뷰, 댓글, 소셜 미디어 상의 언급 등을 통해 해당 콘텐츠가 얼마나 많은 실제 경험을 기반으로 작성되었는지를 파악합니다. 따라서 콘텐츠 제작자는 사용자의 경험을 반영한 사례나 튜토리얼, 사용 후기 등을 포함시켜야 합니다.

- **콘텐츠의 깊이와 실질성**: 콘텐츠가 표면적인 정보 제공에 그치는 것이 아니라, 사용자가 직접 활용할 수 있는 실질적 경험을 제공하는지 여부가 중요합니다. 가이드, 'How-to' 콘텐츠, 그리고 실험적인 접근을 통해 제공된 정보들은 높은 경험 점수를 받을 수 있습니다. 예를 들어, 특정 제품의 사용법을 다루는 블로그 글에서 실제 사용자 후기가 포함되면 경험의 질이 높아집니다.

→ 실제로 Notion을 한국에서 바이럴 시작했을 때 제일 먼저 한게 가이드문서를 한글화 하고 각종 검색엔진 웹마스터에게 먹인 것 입니다. 해당 가이드로 Notion 한국인 사용자는 압도적으로 늘어났습니다.

### 2. **Expertise (전문성)**

- **전문 지식의 표현**: 콘텐츠 제작자가 해당 주제에 대한 깊이 있는 지식과 전문성을 갖추고 있는지를 보여주는 것이 중요합니다. 이를 위해 전문적인 어휘 사용, 심층적인 데이터 분석, 그리고 신뢰할 수 있는 출처 인용 등을 활용할 수 있습니다. 검색 엔진은 이러한 요소들을 통해 해당 콘텐츠가 얼마나 전문적인지 평가하게 됩니다.

- **전문가에 의해 작성된 콘텐츠**: 콘텐츠의 작성자가 전문가임을 알리는 정보(프로필, 자격증, 관련 경력 등)를 추가하면 전문성을 높일 수 있습니다. 특히 특정 분야에 대한 전문 블로그나 사이트는 전문성 강화 전략의 중요한 부분입니다. 예를 들어, 기술 블로그가 특정 소프트웨어 개발자의 글을 지속적으로 게시한다면, 이는 검색 엔진이 해당 블로그의 전문성을 높게 평가하는 데 도움이 될 것입니다.

→ 굳이 도메인을 구매하고 About us, Profile 등을 적는 이유이기도 합니다. 

---

개인적으로 3번과 4번의 영역은 시간과 백링크로 해결된다고 생각합니다. 오히려 초기에는 1번과 2번으로 확실하게 이 웹사이트를 긁어가는게 유의미하다는 것을 검색엔진 순위에 올려 놓을 필요가 있습니다.

### 3. **Authoritativeness (권위성)**

- **외부 링크 및 백링크 확보**: 권위성은 외부에서 해당 콘텐츠를 얼마나 많이 인용하고 링크하는지로 측정됩니다. 다른 권위 있는 사이트에서 많이 참조되거나 인용되는 콘텐츠는 자연스럽게 높은 권위성을 얻게 됩니다. 따라서 SEO 전략은 신뢰할 수 있는 외부 사이트로부터 백링크를 얻기 위한 노력을 포함해야 합니다.

- **도메인 자체의 신뢰성**: 특정 도메인 자체가 오랫동안 신뢰할 수 있는 콘텐츠를 제공해왔다면, 그 도메인에서 생성된 콘텐츠는 기본적으로 높은 권위성을 가질 가능성이 큽니다. 예를 들어, 대형 미디어 회사, 대학, 정부 기관 등의 도메인에서 작성된 정보는 더 높은 평가를 받게 됩니다.

### 4. **Trustworthiness (신뢰성)**

- **정확한 정보와 명확한 출처 제공**: 검색 엔진은 콘텐츠의 신뢰성을 평가하기 위해 정보의 정확성과 출처의 명확성을 중요하게 고려합니다. 따라서 콘텐츠 제작자는 정확한 정보 제공과 더불어, 출처를 명확히 표기하여 신뢰성을 높여야 합니다. 특히, 데이터나 통계를 인용할 때는 출처와 참고 자료를 확실히 표기하는 것이 중요합니다.

- **투명한 웹사이트 운영**: 사용자가 웹사이트의 운영자나 콘텐츠 작성자를 신뢰할 수 있도록 명확한 'About us' 페이지와 연락처 정보 제공은 필수입니다. 또한 HTTPS 보안 인증서를 사용해 사용자의 개인정보 보호와 안전한 브라우징 환경을 제공하는 것도 신뢰성을 강화하는 요소입니다.

## AI와 검색 엔진의 공존, 그리고 SEO의 필요성

AI 기술이 검색 시장에 큰 변화를 불러일으킨 것은 사실이지만, 검색 시장의 붕괴를 이야기하는 것은 성급한 결론일 수 있습니다. AI와 검색 엔진은 서로 보완하며 발전할 것이며, 특히 SEO 전략은 이러한 변화 속에서 더욱 중요해질 것입니다. SEO는 단순한 검색 최적화를 넘어, 사용자 경험을 최적화하고 신뢰할 수 있는 콘텐츠를 제공하는 역할로 진화하고 있으며, 이는 AI 시대에도 변함없이 중요한 요소로 남을 것입니다. 예전에 작성한 GEO 관련 글을 한 번 보셔도 좋겠습니다.

[검색 엔진 최적화 → 검색 엔진 결과 생성 최적화? - 해봄의 아카이브 - haebom](https://haebom.dev/ywk9j7295w1j52gpqvnd)

실제로 OpenAI, Anthropic과 같은 곳에서 무단 웹크롤링을 자행하거나, 신뢰할 수 있는 매체의 콘텐츠를 더 집중적으로 관리해 문제가 된 경우도 있습니다. 또한, 레딧과 같은 영리한 콘텐츠 프로바이더들은 이것을 정규화 시켜 자신들의 새로운 사업모델을 만들기도 합니다. 

[Now you can block OpenAI’s web crawler](https://www.theverge.com/2023/8/7/23823046/openai-data-scrape-block-ai)

[Anthropic’s crawler is ignoring websites’ anti-AI scraping policies](https://www.theverge.com/2024/7/25/24205943/anthropic-ai-web-crawler-claudebot-ifixit-scraping-training-data)

[https://openai.com/index/openai-and-reddit-partnership/](https://openai.com/index/openai-and-reddit-partnership/)

결국, AI 시대의 검색은 전통적인 검색 엔진과 AI 기반 정보 요약이 결합된 새로운 형태의 공존과 협력으로 이어질 것입니다. 콘텐츠 제작자와 웹사이트 운영자들은 이러한 변화에 발맞추어 SEO 전략을 강화하고, 고품질의 신뢰할 수 있는 정보를 제공함으로써 AI와의 경쟁 속에서도 생존하고 성장할 수 있을 것입니다.

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).