AEO効果測定とは
AEO効果測定とは、AEO施策の前後でAI検索における可視性が実際に変化したかを、同一条件の反復観測で検証することです。施策を実行することと、施策が効いたことを示すことは別の作業であり、後者が欠けている状態が業界全体で常態化しています。
測定に必要な3つの条件
- 質問空間の定義：どの質問で測るかを施策前に固定する
- 反復観測：AIの応答は非決定的なため、同じ質問を複数回試行する
- 条件の同一性：前後で質問・試行回数・対象モデルを揃える
このいずれかが欠けると、観測された差が施策によるものか、AIのばらつきによるものかを区別できません。
測定しないと何が起きるか
Sighted自身の事例では、「LPの文言を改善すれば引用される」という仮説でLP全体を改修しましたが、Before/After実験の結果は引用率9.1%から9.1%で、変化はありませんでした。同様に11個の仮説を検証し、9個がデータによって否定されています。
測定がなければ、この改修は「対策を実施した」という記録だけを残して終わっていました。効かない施策を続けている状態と、効いている施策を続けている状態は、測定なしには区別できません。