本文へスキップ
株式会社SAI
経営

AI導入の効果測定|判定できる指標と母数を先に決める

執筆:清水 諒(株式会社SAI 代表取締役)

AI導入の効果測定|判定できる指標と母数を先に決める

Key Takeaways

  • AI導入の効果測定で先に決めるのは判定できる指標と母数で、効果の大きさを出す計算式はその後に選ぶ。
  • 指標は総量ではなく業務群ごとの件数と人が確認した回数で持ち、総量は一過性の出来事で上下するので判定に使えない。
  • 比較窓は同じ長さで揃えて改修日から日を空けてから読み、当社の検索流入の測定では判定日を改修日+10日に動かして確定は28日窓同士で行っている。
  • 母数が足りないときは判定保留を結論にしてよく、当社の検索流入の測定では表示10件未満の語は判定を打ち切って監視のみにしている。
  • 稟議と報告には指標・母数・窓・判定日を同じ紙に載せ、成果に連動する契約を結ぶならこの設計そのものが契約条件になる。

導入から数か月たって「それで効果はどうだった」と聞かれ、手元にあるのはツールの利用回数と現場の感想だけという場面で報告の期限が来ます。指標の名前と計算式は、どの効果測定の記事にも載っています。載っていないのは、その指標を何件集めれば偶然の揺れと区別できるのかという線と、導入前後のどの期間を比べるのかという切り方です。ここでは指標・母数・比較窓・判定日の4つを導入前に決める手順と、稟議と報告に載せる紙の形を用意しました。

当社が一次情報として示せるのは、AI導入の効果そのものではなく自社サイトの検索流入を測った記録です。Search ConsoleとGA4の数字で判定ルールを決め直した経緯を、原則の実演例として使います。AI導入の効果の数値は作らず、当社の導入事例は定性的な変化にとどめます。Googleのヘルプ・NIST・IPA・総務省の引用はいずれも2026年10月3日に閲覧したものです。

効果が測れない原因は指標の選び方ではなく、母数と比較窓が先に決まっていないことにある

AI導入の効果測定とは、導入した業務について判定できる指標と母数を先に決め、同じ長さの比較窓で判定日に読む設計です。先に決めるのは判定できる指標と母数で、指標の名前と計算式は後から選べますが、母数と比較窓は導入前に決めておかないと導入後に取り戻せません。導入前の数字は導入した時点で二度と取れず、導入後の数字は母数が足りなければ何か月集めても判定にならないからです。

効果が測れないという状態を分解すると、原因は指標の選び方ではないことがほとんどです。工数の削減率・処理時間・問い合わせの件数と、指標の候補はすぐに出ます。候補が出た後に止まるのが母数の線と比較窓の切り方で、この2つを決めずに導入すると導入後に出てくる数字は「増えたように見える」で止まります。

効果測定の設計シートの見取り図。上段は左から右へ5つの箱を矢印でつないだ流れで、指標(業務群ごとの件数・人が確認した回数)・母数(判定できる最小の件数・10件未満は保留)・比較窓(同じ長さ・改修日から日を空ける)・判定日(+10日の安全確認・28日窓同士の確定)・報告の1枚(指標・母数・窓・判定日)の順。母数の箱から下へ「判定保留」の分岐が1つあり、母数が足りないときの結論で監視のみにして次の窓で読み直すと書かれている。下段に、数字は当社サイトの検索流入の測定で決めた運用値で業務ごとに置き換えるという注記がある

図は効果測定の設計シートを左から右へ並べたものです。指標・母数・比較窓・判定日の4つを決めてから報告の1枚に落とし、母数が足りなければ判定保留に分岐します。数字は当社サイトの検索流入の測定で決めた運用値で、業務ごとに置き換えます。

導入後の定期的な評価・検証が日本では相対的に薄いことは、生成AIの不適切利用を防ぐ取組を尋ねた総務省の調査にも傾向として出ています。2025年度の企業向け調査では、生成AIの不適切利用を防ぐ策として日本は「全社的な指針やガイドラインを整備している」が41.1%と最多でした。これに対し米国・ドイツ・中国では「製品・サービス導入後、定期的な評価・検証が行われている」などの回答割合が日本より高い傾向が見られました(総務省「令和8年版 情報通信白書 第Ⅰ部 第2章 企業等におけるAI利用の進展 ~より良いAI利活用に向けて~」/2026年10月3日閲覧)。同じ白書のヒアリング調査では、AI活用の先進企業の多くで事業部門の現場ニーズを起点にDX推進部門が技術助言・セキュリティ対策・効果測定などの伴走支援を担っているとされています(同白書/2026年10月3日閲覧)。効果測定は現場任せにも経営任せにもならず、測る役を持つ部門が先に設計している形です。

導入前の投資判断と導入後の効果測定は、答える問いが違うので別に設計する

導入前の判断と導入後の測定は、同じ「効果」という言葉を使っても答える問いが違います。導入前の問いは「どこまで投じてよいか」で、AI投資の費用対効果の考え方で書いた削減価値・成長価値・資産価値の3つのものさしと、比率と回収期間で上限を引く作業です。導入後の問いは「決めた指標が動いたと言えるか」で、上限の計算式ではなく母数と比較窓と判定日の設計が要ります。導入前の試算表をそのまま導入後の報告に使うと、試算のときに仮置きした数字を実測と取り違えます。

分けて設計する考え方は、IPAの「DX推進指標」の使い方にも見られます。IPAはDX推進指標を、経営者や社内関係者がDX推進に向けた現状や課題の認識を共有してアクションにつなげるための気付きの機会を提供する「健康診断」と位置づけ、自己診断フォーマットの配布と結果の収集・分析を行っています(IPA「DX推進指標のご案内」/2026年10月3日閲覧)。設問では現在のレベルと3年後に目標とするレベルをレベル0からレベル5までの6段階で評価し、経営幹部・事業部門・DX部門・IT部門などが集まって議論しながら記入することが推奨されています。年次の継続診断に加え、短期で確認したい指標はマネジメントサイクルに組み込むと効果的ともされています(同ページ/2026年10月3日閲覧)。現在値を取ってから目標を置き、年次と短期で測る窓を分ける順番は、AI導入1件の効果測定でもそのまま使えます。

ガイダンスは目的化への注意も添えています。推進指標は課題の明確化と解決アクションのための手段であり、成熟度レベルの把握や特定レベルへの到達そのものが目的化しないよう留意すべきだとしています。活用の流れは自己診断・分析・アクション・進捗管理(1年後など経年で再診断)の4段階です(経済産業省 商務情報政策局 情報技術利用促進課・IPA「『DX推進指標』のガイダンス(2026年8月)」/2026年10月3日閲覧)。効果測定でも同じで、指標の数字を上げること自体が目的になると、測りやすい指標だけが残ります。

IPAの2025年版の分析では1,164件の自己診断結果が提出され(約6割が中小企業・約4割が大企業)、全指標の現在値の平均は1.98、目標値の平均は3.51で差は1.53でした。全項目の平均がレベル4以上の企業は全体の3%にとどまり、全35指標の現在値の平均が3以上の企業が「先行企業」と定義されています(IPA「DX推進指標 自己診断結果 分析レポート(2025年版)概要版(2026年5月15日)」/2026年10月3日閲覧)。現在値と目標値の差を1.5レベル分と言えるのは、先に現在値を取った企業の結果だからです。現在値の無い導入は、この差を測る土台を持ちません。

指標は総量ではなく、業務群ごとの件数と人が確認した回数で持つ

指標は総量ではなく、業務群ごとの件数と人が確認した回数で持ちます。業務群とは、請求書の処理や問い合わせへの一次返信のように入力と出力の形が同じ作業のまとまりです。総量は一過性の出来事で上下するので、導入の効果と別の要因を分けられません。業務群ごとの件数なら、どの業務で何が動いたかを導入の日付と突き合わせられます。人が確認した回数は、AIが作った下書きを人が採用または修正した回数で、利用回数より効果に近い位置にあります。

当社がこの形にたどり着いたのは、自社サイトの検索流入の測定でした。2026年9月27日の調査で「1か月アクセスが伸びていない」の正体を調べると、週合計のセッションは横ばいでも中身は入れ替わっていました。プレスリリース配信・新聞広告・SNS投稿で立った一時的な山が消え、その分を検索流入の伸びが埋めて合計が平らに見えていたのです。総セッションは一過性の出来事で上下し、伸びの判定に使えないと分かりました。表示回数と平均掲載順位も、社名検索とAI検索面の表示で増えていてクリックに結びついていませんでした。そこで判定指標を総セッションから3本に切り替えました。Search Consoleの週次クリック・GA4の検索経由セッション・ページ群別のクリック(会社概要とトップの指名ナビ/記事/AI面)の3本です。

同じ調査で、SNS経由の160セッションにはキーイベント(問い合わせなど重要な行動)が0件でした。滞在と問い合わせは別物で、クリックやセッションの総量だけで「顧客につながった」とは言えません。当社で人が確認した回数に当たるのが、フォームの送信を数えるGA4のキーイベントです。GA4のキーイベントはビジネスの成果にとって特に重要なアクションを測定するイベントで、収集したどのイベントでもキーイベントにでき、ランディングページレポートや集客レポートに[キーイベント]列が表示されます(Google(アナリティクス ヘルプ)「キーイベントについて」/2026年10月3日閲覧)。

指標の定義は、数える道具の数え方まで含めて決めます。Search Consoleの「表示回数」はサイトへのリンクがGoogleで閲覧された頻度を指す指標で、結果タイプによってはスクロールや展開でリンクが見える状態になる必要があります。通常の検索結果では項目が現在の検索結果ページに掲載されていれば表示回数がカウントされ、ユーザーがその位置までスクロールしたかどうかは問われません(Google(Search Console ヘルプ)「表示回数、掲載順位、クリック数とは」/2026年10月3日閲覧)。クリック数はGoogle外のページへ移動するクリックを数え、検索結果から外部ページへ移動した後に戻って同じリンクを再度クリックしても1回としかカウントされません(同ヘルプ/2026年10月3日閲覧)。「AIによる概要」内のリンクも表示回数とクリック数の対象で、クリックは外部ページへのリンクを押すと1回と数えられ、掲載順位は概要内の全リンクに同一の1つが割り当てられます(同ヘルプ/2026年10月3日閲覧)。表示は「見られた」ではなく「載った」の回数で、クリックは「来た」の回数です。AI導入でも、ログの「生成した回数」と「人が採用した回数」は別の指標として定義します。

集計の単位でも値は変わります。パフォーマンスレポートのグラフはプロパティ(Search Consoleに登録したサイトの単位)ごと、ページ別の表はページごとに集計されます。同じサイトの複数ページが同時に表示された場合は、プロパティごとの集計のほうがCTR(クリック率)と平均掲載順位が高く出ます。ヘルプの例では3ページが表示されて各1クリックのとき、プロパティ集計ではCTR100%・順位1になり、ページ集計ではURLごとにCTR33%・平均順位2になります(Google(Search Console ヘルプ)「パフォーマンス レポート(検索結果): データについて」/2026年10月3日閲覧)。業務群ごとに数えると決めたら、全社集計の値と業務群の値を同じ表に混ぜないことが要ります。

比較窓は同じ長さで揃え、改修日から日を空けてから読む

比較窓は同じ長さで揃え、導入日や改修日から日を空けてから読みます。長さを揃えるのは、曜日と月内の偏りを両方の窓に同じだけ含めるためです。日を空けるのは、数える道具に遅延があって最新の数日が確定していないためです。

Googleは2つの期間を比較するときに週単位または月単位の粒度を使うと、ある期間の月曜と別期間の土曜を比べるような「曜日」の影響が薄まり、長期的な傾向をより正確に比較できると案内しています(Google(Search Console ヘルプ)「パフォーマンス レポート(検索結果): 高度なフィルタリングと比較」/2026年10月3日閲覧)。業務の件数も同じで、月末に締めが集中する業務なら月初の2週間と月末の2週間を比べる窓は成立しません。

遅延は道具ごとに違います。Search Consoleのデータは収集後すぐには公開されず、数値の計算からサイト所有者への表示まで時間差があり、収集データは通常2〜3日以内に利用可能になります(Google(Search Console ヘルプ)「Search Console のデータについて」/2026年10月3日閲覧)。GA4ではデータの処理に24〜48時間かかることがあり、その間レポートのデータは変化しえます。標準プロパティの日次データの標準的な処理時間は12時間とされています(Google(アナリティクス ヘルプ)「[GA4] データの更新頻度」/2026年10月3日閲覧)。日次のデータ収集は午前0時に停止されますが、一部のデータは最長7日間遅れて到着することがあり、処理時刻の目安は確約されたものではないと明記されています(同ヘルプ/2026年10月3日閲覧)。

当社の検索流入の測定では、この遅延で判定日を動かしました。2026年9月11日に決めた順位改善の手順は改修後7日で判定する設計でしたが、読む日の最新日は3日前で、太平洋時間の日付の切り方を含めると改修日の夕方までの分は前日に入ります(当社換算)。改修後7日分が揃うのは改修日+10日でした。そこで判定日を改修日+10日に動かし、その日に見るのは順位が崩れていないかの安全確認だけにしました。効果の確定は改修後28日と改修前28日を同じ長さで比べる形にし、+10日の安全確認と28日窓同士の確定を分けています。手順を変えた経緯は順位改善を1語ずつ7日観察した記録に判定の全件と一緒に書きました。AI導入なら、ログが締まる時刻とダッシュボードの更新間隔が同じ役割を持ちます。導入日を窓の起点にすると導入前の件数が混ざるので、起点は導入日から道具の遅延分だけ後ろに置きます。

母数が足りないときは、判定保留を結論にしてよい

母数が足りないときは、判定保留を結論にしてよいです。保留は失敗ではなく、その窓では偶然の揺れと効果を区別できなかったという判定です。足りないまま「効果あり」と報告すると、次の窓で数字が戻ったときに説明が立ちません。

割合の揺れがどれほど大きいかは、統計の標準的な資料で確かめられます。NIST/SEMATECHの統計ハンドブックは割合(比率)の信頼区間(真の値が入ると見込める幅)にWilson法を示し、nとpのほぼ全ての組み合わせで推奨されるとしています。最もよく使われる p̂ ± z√(p̂(1-p̂)/n) の式と異なり、下限が負にならない利点があるとされます(NIST(NIST/SEMATECH e-Handbook of Statistical Methods)「7.2.4.1. Confidence intervals」/2026年10月3日閲覧)。同ハンドブックは、事象の件数が非常に少ないか標本サイズが非常に小さい場合は正規近似による対称な信頼限界が用途によっては十分に正確でないとし、二項分布に基づく厳密な両側信頼区間の算出手順を示しています。例では20個を抽出して4個が不良(推定比率0.20)のとき、二項分布に基づく90%信頼区間は0.071から0.400で、観測した比率を中心に対称ではありません(同ハンドブック/2026年10月3日閲覧)。20件で「2割」と言っても、区間は7.1%から40%まで開きます(当社換算)。業務群ごとの件数が20件に満たない月は、割合ではなく件数のまま報告するほうが読み手に正直だと当社は考えています。

当社の検索流入の測定では、判定できる最小の件数を表示10件に置き、10件未満は保留にして監視のみとしました。7日窓で表示10件未満の語は判定を打ち切り、改善の手を重ねません。2026年10月3日の判定では、9月23日に反響対応の節を足した不動産仲介向けの記事で狙った語が改修後7日で記事でも全体でも0表示でした。28日窓では語の全体が13表示・29.0位ですが、この順位は削除済みの別ページとの混合で記事単体は9表示・6.4位と改修前の読みと同じ値です。表示が10件に届かないので判定を打ち切り、結論は「判定できず(母数不足)・監視のみ」としました。同じ日に判定した代表名の指名検索は改修後7日で12表示・4クリック・2.9位と上向きで、改修前の9月2日から22日の21日間は21表示・0クリックでした。それでも母数12件は線をかろうじて超えた程度で、9月24日に始まったGoogleのスパムアップデートは10月3日時点で終了の記載が無いため(Google Search Status Dashboard「Ranking」履歴/2026年10月3日閲覧)、確定は28日窓同士が揃う10月23日に回しました。

母数が小さいときの別の落とし穴は、道具が行を隠すことです。検索パフォーマンスレポートはユーザーのプライバシー保護のため、実行回数が非常に少ないクエリや個人情報・機密情報を含むクエリをトラッキングしないことがあります。保存されるデータ行も上位のものに限られるため、一部のクエリは表示されません(Google(Search Console ヘルプ)「Search Console のデータについて」/2026年10月3日閲覧)。GA4のレポートやデータ探索でも、期間が短くユーザー数やイベント数が少ない場合にデータのしきい値によって行が除外されることがあります。しきい値はシステム定義で利用者が調整できず、期間を広げることで表示できる場合があります(Google(アナリティクス ヘルプ)「[GA4] データのしきい値について」/2026年10月3日閲覧)。当社のサイトではSearch Consoleのクエリ表に載るクリックが合計の1〜2割で、語の単位では残りが見えませんでした。母数が小さいほど隠れる行の割合が増えるので、判定の単位を語からページ群へ上げ、業務なら個別の案件から業務群へ上げます。

9月15日に全面リライトした記事3本の判定も同じ結論でした。改修前14日と改修後13日(データの最新日の都合で改修後が1日短い)の表示は1件から4件・15件から4件・4件から0件と並び、3本とも母数不足で改稿の効果を判定できませんでした。戻す理由も無いので、以後は月1回の記録で追い改稿は当てないと決めています。判定保留は「何もしない」ではなく、次の窓まで手を加えないという決定です。

稟議と報告には、指標・母数・窓・判定日をそろえて同じ紙に載せる

稟議と報告には、指標・母数・窓・判定日の4つをそろえて同じ紙に載せます。効果の数字だけが一人歩きしないように、数字の横にその数字がどう作られたかを置く形です。導入前に出す稟議では4つの欄を空けたまま「現在値をいつまでに取る」と書き、導入後の報告では同じ紙の欄を埋めます。

紙の形はIPAのDX推進指標の定量指標のフォーマットが参考になります。定量指標は全項目が任意回答で、記載例を参考に自社に必要な定量指標を特定して現状を把握し、3年後の数値目標を立てて進捗管理を行う使い方が想定されています。フォーマットには現在値・算出方法/エビデンス・目標値(3年後)・今後のアクションの欄があります(経済産業省 商務情報政策局 情報技術利用促進課・IPA「『DX推進指標』のガイダンス(2026年8月)」/2026年10月3日閲覧)。「算出方法/エビデンス」の欄が母数と窓に当たり、「現在値」が導入前の実測に当たります。当社の設計シートは、この欄立てに判定日と判定保留の扱いを足したものです。

表は横にスクロールできます。

欄 書くこと 当社の検索流入の測定での例
指標 業務群ごとの件数と、人が確認した回数 ページ群別の28日クリックと、GA4のキーイベント
母数 判定できる最小の件数と、足りないときの扱い 7日窓で表示10件未満は判定を打ち切り監視のみ
窓 導入前と導入後の窓の長さと、起点を遅らせる日数 改修前28日と改修後28日。改修日の夕方までの分は前日に入る前提で読む
判定日 安全確認の日と、確定の日 改修日+10日に安全確認、28日が揃う日に確定
結論 改善が見えた・未達・判定保留のいずれか 判定保留のときは次の窓の日付を書く

数える方法を途中で変えたときは、変えた日を紙に残します。GA4のキーイベントのカウント方法には「イベントごとに1回(推奨)」と「セッションごとに1回(従来版)」があり、1セッションで5回トリガーされた場合に前者は5件・後者は1件と数えます。変更は変更後に発生したキーイベントにのみ適用され、過去のデータには適用されません(Google(アナリティクス ヘルプ)「キーイベントのカウント方法を変更する」/2026年10月3日閲覧)。導入の前後で数え方が違う数字を同じ列に並べると、効果ではなく数え方の差を報告することになります。

割り当ての規則も紙に書きます。Search Consoleでは、ページのモバイル版・PC版などすべてのバリエーションのクリック数・表示回数・掲載順位がGoogleの選択した正規URLに割り当てられ、ユーザーが訪問後に別ページへリダイレクトされても割り当て先のURLは変わりません(Google(Search Console ヘルプ)「表示回数、掲載順位、クリック数とは」/2026年10月3日閲覧)。平均掲載順位も、各クエリでプロパティまたはページに付与された最上位の掲載順位をそのプロパティが表示された全クエリで平均した値で、2位と3位の2クエリなら2.5位になります(同ヘルプ/2026年10月3日閲覧)。業務のログでも同じ案件が複数の経路で記録されるなら、どの経路に件数を割り当てるかを先に決めておきます。

導入事例の報告でも、定性的な変化と数字は分けて書きます。当社の広告代理店の事例では、HP制作の下書き生成とSNS投稿の仕組み化と広告運用の自動レポートで制作の初速が上がり、人を増やさずに対応できる案件が増えました。BCP支援企業の事例では、業務に直結した研修と議事録の自動要約などの組み込みで資料作成と顧客対応が効率化し、提供品質の標準化につながりました。どちらも変化の方向は定性的に書けますが、母数と窓を決めて数えた効果の数値は当社から出していません。数字の前に使われているかを確かめる見方は、AI導入が定着しない理由と対策で書いた定着の兆候チェックリストと同じです。

成果に連動する契約を結ぶなら、測定の設計そのものが契約条件になる

成果に連動する契約を結ぶなら、測定の設計そのものが契約条件になります。何を成果と数えるか・どの母数で・どの窓で・いつ判定するかが決まっていない契約は、成果が出たかどうかを両者が別の数字で主張する状態を作ります。契約条項の書き方そのものは、法務や専門家に確認したうえで決めます。

当社の自責〜JISEKI〜は、新規事業の企画から開発・商談同席・グロースまでを当社が請け負い、報酬を売上に連動させる契約です。ここでは効果測定が報告の形式ではなく報酬の根拠になります。契約の前に決めておく項目は、どの売上を対象にするか・集計の起点をいつにするか・解約や返品をどう扱うか・判定の日をいつにするかで、両者が同じ台帳を見る形にします。審査の段階で解こうとしている課題が実在するかと意思決定者が本気かを確かめるのは、測定の設計に乗る事業かどうかを見る作業でもあります。

成果連動でない支援でも、測定の設計を最初の工程に置くことは同じです。AI導入支援は業務の棚卸しから始め、定着の測定までを範囲にしています。この記事の設計シートは棚卸しの段階で埋めるもので、測定の器が無い状態で実装を始めると定着したかどうかを感想でしか語れなくなります。AI検索の引用のように数える道具が複数ある指標では、LLMOの測定で書いた5つの面のように面ごとに数え方を分けて記録します。

AI導入の効果測定についてよくある質問

Q. 導入前の数字を取らないまま導入してしまいました。今から効果は測れますか?

導入前の現在値は戻せませんが、導入後の2つの窓を比べることはできます。導入後の最初の28日を基準の窓にし、次の28日と同じ長さで比べると定着が進んだかどうかの判定はできます。ただしこの比較は「導入の効果」ではなく「導入後の変化」で、報告にはその旨を書きます。IPAのDX推進指標も、自己診断で現在値を取ってから目標値を置き、経年で再診断する順番を示しています(経済産業省 商務情報政策局 情報技術利用促進課・IPA「『DX推進指標』のガイダンス(2026年8月)」/2026年10月3日閲覧)。次の導入では、稟議の段階で現在値を取る期限を書きます。

Q. 効果の判定には、どのくらいの期間が必要ですか?

期間は日数ではなく母数で決まります。業務群ごとの件数が判定できる最小の件数に達するまでの日数が、その業務の窓の長さです。当社の検索流入の測定では2026年8月28日から9月24日の28日で検索クリックが96件(1日約3.4件)だったので、週ごとの±5件は誤差として扱い判定は28日の合計同士で行っています。件数の多い業務なら窓は短くでき、少ない業務は28日でも足りないことがあります。Googleも期間の比較には週単位または月単位の粒度を勧めています(Google(Search Console ヘルプ)「パフォーマンス レポート(検索結果): 高度なフィルタリングと比較」/2026年10月3日閲覧)。

Q. 削減できた時間を効果として報告してよいですか?

報告してよいですが、時間は指標の1つであって効果の全体ではありません。削減した時間は浮いた時間の使い道が決まって初めて価値になることを、AI投資の費用対効果の考え方の削減価値の節で書きました。効果測定の紙には削減時間と並べて、その時間で増えた業務群の件数か人が確認した回数を置きます。時間だけが減って件数が動いていなければ、効率化で止まっている状態です。

Q. ツールの利用回数やログイン数を効果にしてよいですか?

利用回数は定着の兆候であって効果ではありません。業務の件数と結びつけないと、何が変わったのかが分からないからです。Search Consoleの表示回数が「載った回数」でクリックが「来た回数」であるように(Google(Search Console ヘルプ)「表示回数、掲載順位、クリック数とは」/2026年10月3日閲覧)、AIのログでも「生成した回数」と「人が採用した回数」を分けます。効果に近いのは後者です。

SAIの視点:効果の大きさより先に、判定できる母数があるかを確かめる

効果測定の相談で最初に出てくるのは「どれくらい効いたか」の数字ですが、当社が自社サイトの測定で先に突き当たったのは効果の大きさではなく、判定できる母数が無いという事実でした。7日窓の表示が3件では、どんな指標を選んでも判定は出ません。検索流入で起きたこの順番は、AI導入の効果測定でも変わらないと考えています。

株式会社SAIのキャラクターが、指標・母数・窓・判定日の4つの欄がある設計シートを机に広げ、母数の欄を指差して確認しているイラスト

母数が足りない業務は測り方を工夫しても判定が出ないので、先に業務群の単位を上げるか窓を延ばします。母数のある業務から測り始めると、最初の判定が次の稟議の根拠になります。AI導入支援で測定を設計するときも、この設計シートの順番で指標・母数・窓・判定日を先に埋めます。

いま社内で数えられている数字が何で、それを記録している台帳があるか。確かめるのはこの1点で足ります。対象にしたい業務の名前と、現在の記録の形(Excel・SaaSの管理画面・紙)が分かれば、判定できる母数が今あるのか窓を延ばすべきかをその場で見られます。ご相談はこちら。

出典と確認日

外部の出典はいずれも2026年10月3日閲覧。当社の数値は自社サイトのSearch Console(画面読み取り。9月27日・10月1日・10月3日の3回で最新日は9月24日・28日・29日)とGA4(2026年9月27日読取)と改善記録から取ったもので、AI導入の効果を測った数値ではない。