方法論
AI検索は、順位のついたリンク一覧ではなく、そのつど作られる答えを返します。そのため「どれだけ見つけてもらえるか(可視性)」を測るには、これまでの検索順位とは違うやり方が必要です。ここでは、ラボがAI検索の可視性をどう測り、評価をどう組み立てているか、その考え方を示します。
可視性をどう測るか
AI検索での「可視性」は、表示される位置ではなく、AIが作る答えの中に情報がどう出てくるかで捉えます。ラボは、主に次の4つの観点で可視性を測ります。
- 触れられているか — その問いへの答えの中で、対象(ブランド・サービス・情報源)が出てくるか。
- 引用されているか — 答えの根拠や参照元として、対象のページが使われているか。
- どう語られているか — 語り口が好意的か、中立か、否定的か。また競合と比べてどう位置づけられているか。
- どれだけ安定しているか — 同じ問いをくり返したとき、答えがどのくらい一貫しているか。
AI検索の答えは毎回少しずつ変わります。そのため一度の結果で決めつけず、くり返し観察して全体の傾向をつかむことを大切にします。
評価設計の考え方
評価は、だいたい次の手順で組み立てます。
- 問いを設計する — まず何を測りたいかを決め、それに合う問い(クエリ)を用意する。業種や問いの種類(事実を確かめる・比べる・おすすめを聞く、など)を意識し、日本語ならではの言い回しも対象に含める。詳しくはデータセットへ。
- 答えを集める — 複数のAI検索に、同じ条件で同じ問いを投げ、答えと引用元を記録する。エンジンごとに条件がそろっていることを大切にする。
- 答えを採点する — 正確さ・もれのなさ・出典の質などの観点で、あらかじめ決めた基準に沿って答えを採点する。基準は前もって文章にしておき、採点する人による差を抑える。
- 引用を分析する — どの情報源が、どんな問いで引用されやすいかを集計し、引用されやすさにつながる特徴を探る。
- 比べて考える — エンジンごと・業種ごと・問いの種類ごとに結果を比べ、決めつけすぎないように気をつけながら傾向を述べる。
再現性と品質
研究の信頼性を支えるのは「再現性」、つまり同じ手順でやり直せることです。ラボは、実験の手順・問いの一式・採点の基準を記録し、第三者が同じ手順をたどれるようにすることを大切にします。
公開する研究レポートは、次の点を確認するチェックを必ず通します。データの出どころをあとから確かめられるか、実験方法を同じ手順でやり直せる形で書いてあるか、結論にきちんと筋道が通っているか、ほかの研究や知見と食い違っていないか。そして、事実にもとづくこと、推測は推測とはっきり書くこと、引用元を必ず示すことを、徹底します。
