方法論

AI検索は、順位のついたリンク一覧ではなく、そのつど作られる答えを返します。そのため「どれだけ見つけてもらえるか(可視性)」を測るには、これまでの検索順位とは違うやり方が必要です。ここでは、ラボがAI検索の可視性をどう測り、評価をどう組み立てているか、その考え方を示します。

可視性をどう測るか

AI検索での「可視性」は、表示される位置ではなく、AIが作る答えの中に情報がどう出てくるかで捉えます。ラボは、主に次の4つの観点で可視性を測ります。

  • 触れられているか — その問いへの答えの中で、対象(ブランド・サービス・情報源)が出てくるか。
  • 引用されているか — 答えの根拠や参照元として、対象のページが使われているか。
  • どう語られているか — 語り口が好意的か、中立か、否定的か。また競合と比べてどう位置づけられているか。
  • どれだけ安定しているか — 同じ問いをくり返したとき、答えがどのくらい一貫しているか。

AI検索の答えは毎回少しずつ変わります。そのため一度の結果で決めつけず、くり返し観察して全体の傾向をつかむことを大切にします。

評価設計の考え方

評価は、だいたい次の手順で組み立てます。

  • 問いを設計する — まず何を測りたいかを決め、それに合う問い(クエリ)を用意する。業種や問いの種類(事実を確かめる・比べる・おすすめを聞く、など)を意識し、日本語ならではの言い回しも対象に含める。詳しくはデータセットへ。
  • 答えを集める — 複数のAI検索に、同じ条件で同じ問いを投げ、答えと引用元を記録する。エンジンごとに条件がそろっていることを大切にする。
  • 答えを採点する — 正確さ・もれのなさ・出典の質などの観点で、あらかじめ決めた基準に沿って答えを採点する。基準は前もって文章にしておき、採点する人による差を抑える。
  • 引用を分析する — どの情報源が、どんな問いで引用されやすいかを集計し、引用されやすさにつながる特徴を探る。
  • 比べて考える — エンジンごと・業種ごと・問いの種類ごとに結果を比べ、決めつけすぎないように気をつけながら傾向を述べる。

再現性と品質

研究の信頼性を支えるのは「再現性」、つまり同じ手順でやり直せることです。ラボは、実験の手順・問いの一式・採点の基準を記録し、第三者が同じ手順をたどれるようにすることを大切にします。

公開する研究レポートは、次の点を確認するチェックを必ず通します。データの出どころをあとから確かめられるか、実験方法を同じ手順でやり直せる形で書いてあるか、結論にきちんと筋道が通っているか、ほかの研究や知見と食い違っていないか。そして、事実にもとづくこと、推測は推測とはっきり書くこと、引用元を必ず示すことを、徹底します。

このページは役に立ちましたか?