Cloudflare vs Perplexity議論。しかし、Webユーザー全員が知る必要があります。
ウェブの歴史はまもなくルールの歴史だ。初めてインターネットが登場した時からこれまで、ウェブエコシステムは大小の葛藤の中で秩序を訪れてきた。ところが最近、AI時代を迎え、ウェブクロールルールをめぐるもう一つの重要な戦争が始まった。まさにWebインフラ巨人Cloudflare(クラウドフレア)とAI検索エンジン新生企業Perplexity(パープレクシティ)の「ステルス・クロール」(Stealth Crawling)論議だ。 🚨爆弾宣言:Cloudflare、パープレクシティを「Web標準違反者」と規定する 2025年8月4日、Cloudflareは公式ブログを通じて衝撃的な主張を出した。 AIベースの検索エンジンパープレクシティがウェブサイトのクロール禁止指示を巧妙に迂回してコンテンツを無断で持っているという内容だった。 🔍 Perplexityのステルスクロール戦略 Cloudflareが提示したパープレクシティのクロールバイパス方式は次のとおりです。 正面アクセス:公式エージェント( PerplexityBot )を使用したコンテンツアクセスの試み ブロック時の検出:ウェブサイトがブロックされたらすぐに検出して戦術を変更する ブラウザ迷彩: Chrome ブラウザを偽装して User-Agent を変更して再アクセス IP変更回避:IPアドレスとASN(自律システム番号)を変更し、継続的にバイパス Cloudflareは、特にプライベートドメインを作成し、robots.txtとファイアウォールでクロールを明確に妨げたにもかかわらず、Perplexityがそのドメインのコンテンツを要約して提供したという事実を公開した。 Cloudflareはこのような行為を「ウェブハッキングと変わらない違法行為」と強く批判した。 🤖Perplexityの反撃:「私たちは単純なクローラーではなくユーザー代理店エージェント」 Perplexityは即時の反論声明を出した。彼らの記入項目は明確だった: 「私たちはウェブを自動的に収集する従来のクローラではなく、ユーザーのリアルタイム要求を処理するAIアシスタントです」 📌 Perplexityのコアロジック ユーザー代理アクセス:ユーザーがWebブラウザを直接使用するのと技術的、倫理的に同じアプローチであるという主張 非保存性:Webコンテンツを事前に保存したり、モデル学習に使用したりせず、リアルタイムのクエリ応答にのみ使用することを強調 Cloudflareの分析エラー:ヘッドレスブラウザサービスであるBrowserBaseからのトラフィックをPerplexityのものと誤認したとし、Cloudflareの分析信頼性を攻撃 「デュアルWeb」の懸念:Webアクセス権がCloudflareなどの特定のインフラストラクチャ企業によって独占されている場合、新サービスが革新できないデュアルWeb構造が形成される可能性があるという警告 ⚔️コミュニティ内の激しい意見対立 技術コミュニティは今回の事件を置いて二つに分けた。
- Haebom

4