◆빅테크 침공, 방어 나선 네이버=네이버는 지난 6~7월에 순차적으로 네이버의 모든 서비스에 AI의 크롤링을 차단하는 코드를 적용했다. 이전까지 쇼핑, 부동산 등 일부 서비스에 적용하던 것을 모든 서비스로 확대했다. 실시간으로 정보를 외부에서 검색해 답변을 생성하는 외국 AI의 검색증강생성(RAG)도 전면 차단했다. 크롤러를 막는 법은 간단하다. ‘robots.txt’라는 크롤링 금지 코드를 웹사이트 최상위 폴더에 집어넣는 것. 국제인터넷표준화기구(IETF)가 2022년 9월에 내놓은 표준 텍스트 양식이다. 크롤러가 진입하는 길목에 울타리를 치고 ‘접근 금지’ 팻말을 꽂아놓은 것과 같은 효과를 낸다. 외산 AI 개발사는 앞으로 네이버의 허가 없이 콘텐트를 인용하거나, 수집할 수 없다.
