AI導入の効果測定｜工数だけで終わらないKPIと比較方法
AI導入の効果測定は、作業時間が何分減ったかだけでは不十分です。提出までの時間、修正量、誤り、判断の質、利用の定着、情報管理上の問題を同時に見て、初めて続ける価値を判断できます。生成時間が短くても、確認と手戻りが増えれば業務全体は改善していません。
測定では、導入前の基準値を取り、一つの業務を同じ条件で比較します。AIは整理や草案を担当し、人は事実確認と意思決定を担当する範囲を固定します。「AIを使った月」と「忙しくなかった前月」を比べるような評価を避けます。
この記事では、広告代理店がAI導入を評価する重要業績評価指標（KPI）と比較方法を説明します。対象業務の選び方は広告代理店の業務効率化、利用ルールは生成AI社内ルールの作り方、全体の導入順序は広告代理店のAI活用・DX入門もご覧ください。
最初に業務の開始と終了を決める
「レポート作成時間」の範囲が人によって違うと、比較できません。数値を取得し始めた時点から提出完了まで、あるいは入力材料がそろってから初稿完成までなど、開始と終了を明記します。
広告レポートなら、次の時間を分けて取ります。
- データ取得と整形
- 施策履歴の探索
- 数値変化の抽出
- 要因候補の検討
- コメントの作成
- 元データとの照合
- 上長レビューと修正
- 顧客への提出待ち
AIの生成時間だけを測らず、準備と確認を含めます。対象案件、媒体数、レポートページ数、担当者の経験など、難易度に関わる条件も記録します。
複数人が同じ業務を行う場合は、個人差も記録します。経験者だけで試すと、入力の不足を暗黙知で補ってよい結果が出ることがあります。新人・経験者のどちらで成立する運用かを分けて評価し、教育時間も必要なら工数へ含めます。
KPIを工数・品質・速度・リスク・定着に分ける
測定項目を増やしすぎないため、各観点から一〜二個を選びます。
| 観点 | KPIの例 | 記録方法 |
|---|---|---|
| 工数 | 提出までの実作業時間、確認時間 | 工程ごとの開始・終了 |
| 品質 | 数値誤り、根拠不足、差し戻し件数 | 修正理由を分類 |
| 速度 | 初稿まで、承認までの経過時間 | タイムスタンプ |
| リスク | 機密入力、未確認の断定、権限違反 | インシデントとヒヤリハット |
| 定着 | 対象者の利用率、手順どおりの実施率 | 週次チェック |
| 価値 | 次の判断に使われた提案、確認事項 | 定例の合意記録 |
時間が減っても数値誤りが増えた場合は採用しません。差し戻しが減っていなくても、理由が誤字から重要な提案の議論へ変わったなら、業務の中身が改善した可能性があります。件数と内容の両方を見ます。
費用に換算する場合は、削減時間に加えて、利用料、設定、教育、レビュー、ルール更新の時間を含めます。短期の試行では初期設定が大きく見えるため、初期費用と継続費用を分けます。売上への寄与はAI出力と受注を直接結びつけず、提案が実行されたか、意思決定が早まったかなど途中の指標を置きます。
導入前の基準値を同じ条件で取る
比較の前に、AIを使わない通常手順で二〜四回分の記録を取ります。月次業務なら複数案件、週次業務なら同じ案件の複数週を使い、一回だけの偶然を避けます。
比較条件には、次をそろえます。
- 対象業務と完成条件
- 入力データの種類と量
- 担当者または経験水準
- レビュー担当者と確認基準
- 例外案件を含めるかどうか
情報処理推進機構（IPA）のDX推進指標は、診断を年次で継続するだけでなく、短期で見たい指標をマネジメントサイクルへ組み込む考え方を案内しています（IPA「DX推進指標のご案内」）。AI導入も一度の導入判定で終わらせず、日常の確認へ組み込みます。
AIありとAIなしを工程ごとに比較する
理想は、似た条件の業務をAIあり・なしで並行比較することです。難しい場合は、導入前後で同じテンプレートとレビュー基準を使います。
AIありの手順では、どこをAIへ任せたかを固定します。たとえば、AIは数値変化の整理、要因候補、確認質問の草案まで。担当者は元データ照合、施策履歴確認、原因の評価、提案の選択、提出判断を担当します。途中で任せる範囲を変えた場合は別の試行として記録します。
修正量は文字数だけでなく、種類を分けます。「表記」「数値」「根拠」「事実と仮説」「顧客固有の前提」「提案の優先順位」のどこを直したかを見ると、入力や指示の改善点が分かります。
比較期間中に、繁忙度、媒体数、担当者、テンプレート、レビュー担当が変わった場合は注記します。AI以外の変更を同時に行うと、どの施策が効いたか分かりません。避けられない変更は除外せず、条件が近い案件群に分けて読みます。
定量記録に加えて、担当者とレビュー者へ「どこで安心できたか」「どこで確認が増えたか」「使わなかった理由」を短く聞きます。利用率が低いとき、操作の問題なのか、出力を信用できないのか、対象業務が合わないのかを区別できます。
日次AI要約を小さな測定対象にする
具体的な測定例として、毎朝の案件確認を選びます。前日の媒体データと施策履歴を入力に、AIで要約と確認候補を作る工程を設けます。出力は確認の入口に限定し、配信変更を自動決定させません。
二週間、担当者が要約を開いてから元データと施策履歴を確認し、対応要否を決めるまでを記録します。比較するのは、確認時間だけでなく、見落とした重要変化、誤った候補、追加確認に進んだ件数、不要な確認も含みます。
評価設計や運用ルールづくりを外部と進める場合は、AIによる変化と伴走支援による変化を分けて記録します。どの工程が結果へ寄与したかを混同しないためです。
数値だけでなく継続・修正・中止の条件を決める
試行前に、判定条件を決めます。たとえば「実作業時間が減り、重大な数値誤りがなく、レビューの追加負担が許容範囲なら継続」とします。具体的なしきい値は業務のリスクと基準値から自社で決めます。
結果は三択で判断します。
- 継続：品質を保ち、工程全体が改善した
- 修正：可能性はあるが、入力・範囲・レビューに問題がある
- 中止：リスクや確認負担が価値を上回る
修正する場合は、プロンプトだけでなく、入力データ、完成条件、担当者、承認手順を見直します。AIモデルや製品の変更があったときも、同じテストケースで再確認します。
判定会には、利用者だけでなく、成果物を承認する人と情報管理の責任者を含めます。利用者が速さを評価しても、レビュー担当者の負担や機密情報の扱いに問題があれば、そのまま対象を広げません。判断と根拠を一枚に残し、次の見直し日を設定します。
測定結果は、良い数字だけを抜き出さず、対象件数と除外理由を添えて共有します。週次では運用上の問題、月次ではKPIの推移、四半期では継続範囲を確認するなど、判断の周期を分けます。毎回すべてを測り直さず、重大な品質・リスク指標は継続して監視します。
記録表には、測定者、取得元、取得日時を入れます。同じ指標名でも集計方法が変われば時系列が切れるため、定義変更日も残します。後から都合のよい期間だけを選べない形で保存します。
一業務の基準値を一回測る
明日は、頻度が高く完成条件が明確な業務を一つ選んでください。おすすめは、一案件の週次コメント作成です。開始を「数値表を開いた時」、終了を「上長へ初稿を渡した時」と決め、工程別時間と修正理由を記録します。
まだAIは使わず、まず通常手順の基準値を一回取ります。何を速くしたいかだけでなく、守る品質と避けるリスクを書き添えることが、工数だけで終わらないAI導入の効果測定を始める第一歩です。
次に読む