
航空会社チャットボットは顧客に50%割引を与え、それはLLMが作った幻覚だった。
「申し訳ありませんが、実際には割引はありません。」 最近、Air Canadaのチャットボットは顧客に「航空券が50%割引される」という誤った情報を提供し、結局法廷まで行くことが起こりました。裁判所は顧客の手を挙げ、AIの「嘘」によって航空会社は割引の約束を守らなければなりませんでした。 チャットGPTを含む最新の言語モデルが生み出す事実ではない答え、つまり「幻覚(hallucination)」問題は、今や単純な技術的ミスではなく、社会的・法的波長を引き起こす深刻な問題となっています。 🧠AIの幻覚とは? 幻覚という表現は、人が幻想や錯覚を見ているように感じられます。しかし、AIは実際に無駄を見るのではなく、ただ次の単語を確率的に予測し、最ももっともらしい単語をつなぐ過程で「そんなに間違った答え」を作り出します。 まるで人がくしゃみを抑えることができないように、AIの幻覚度システムが正常に動作しながら出てくる自然な副産物です。 例えば、「2005年のノーベル平和賞受賞者は?」という質問に、実際の受賞者の代わりにメディアでよりよく言及された人物に答える式です。訓練データから頻繁に登場するほどAIはその単語を正解だと考える可能性が高くなるからです。 (画像挿入:AIが幻覚を引き起こす原理 - 次の単語の確率予測と実際の事実との間の乖離) 🧪なぜ完全に解決するのは難しいのですか? Vectaraの創設者であり、元Googleの幹部であるAmr Awadallahはこう述べています。 「AIモデルの仕組み自体が確率的であるため、幻覚を100%取り除くことは不可能です。」 これはAI技術の構造的な限界です。 🔍どのように解決しようとしていますか? AI企業は幻覚率を減らすためにいくつかのアプローチを試みています。 1. RAG (Retrieval-Augmented Generation) RAG方式とは、AIが回答を生成する際に自己学習データだけに頼らず、外部データ(ニュース、検索結果、内部文書など)をリアルタイムで参照し、ソースとともに正確な情報を引用する方式です。 たとえば、顧客が「製品の払い戻し規則はどうなりますか?」と尋ねると、AIは単に学習した内容に答えるのではなく、実際の企業内部文書で「社内ポリシー文書3条2項に従って7日以内に払い戻し可能」という正確な回答と出典を一緒に提示します。 2. 検証用補助モデルの運用 DeepMindやCohereなどの企業は、メインAIモデルが提供した答えを再検証する小型AIモデルを別々に運営し、誤った情報を事前にフィルタリングする方法で精度を高めます。 3. 数学的自動推論 AWS は「自動化された修理推論 (automated reasoning checks)」を適用し、計算やロジックに合わない答えを AI が自ら除外するようにしました。この方法は、特に精度が不可欠な金融や医療の分野で役立ちます。
- Haebom
1

1