広告代理店のAI出力を評価する｜レポート納品前の合格基準

広告代理店がAI出力を評価するとき、文章の自然さだけを見ても納品可否は決まりません。広告レポート草案なら、計算・根拠・固有名詞・施策条件・顧客文体をそれぞれ照合し、「適合」「要修正」「確認不能」で採点します。そのうえで、集計値の誤りや顧客名の取り違えなどを重大エラーとして別に判定します。

合格条件は、5項目がすべて適合し、重大エラーがなく、判定者と照合先が記録されていることです。高い総合点で重大な誤りを相殺する運用にはしません。ただし、何を重大とするかは案件によって変わります。共通の受入表を持ちながら、顧客との合意や施策の確定状況をどこまで個別条件へ落とせるかが、再現可能な判定の分かれ目です。

広告代理店のAI出力評価を納品物ごとに定める

同じAI出力でも、社内のたたき台と顧客へ納品するレポートでは、許容できる誤りが異なります。さらに広告レポート同士でも、確定実績を報告する資料と、次回施策の候補を整理する資料では、確認すべき条件が同じとは限りません。

2026年9月21日時点で確認したNISTの「AI Risk Management Framework 1.0」は、リスク許容度を一律に規定せず、用途と利用場面に強く依存するとしています。既存の業界要件や組織要件がなければ、組織が合理的な許容度を定めるという整理です。これは広告レポート用の基準を提示した資料ではありませんが、用途に即して受入条件を決める根拠になります。

同資料のMEASURE機能は、客観的で反復可能または拡張可能なテスト・評価・検証・妥当性確認のプロセスと、その方法を実施して文書化することを示しています。性能や保証の基準は実運用に近い条件で定性的または定量的に示し、測定結果を記録するという考え方です。そこで広告レポート草案では、「よく書けている」という印象を、別の担当者が同じ資料から再判定できる条件へ変換します。

案件ごとに先に固定するのは、次の情報です。

• 納品物の範囲：対象媒体、対象期間、対象施策、草案の版
• 正解として扱う資料：媒体の確定データ、顧客承認済み資料、施策条件の確定記録
• 表記条件：顧客名、媒体名、施策名、用語、語調、禁止表現
• 判定責任：一次確認者、最終判断者、差し戻し先

この前提が空欄なら、草案の正否を判定する照合先が未確定です。AIに再生成を指示する前に、受入条件を確定する必要があります。

5項目を採点するレポート受入表

以下は広告レポート草案に限定した運用上の提案です。数値による合格点は設けず、各項目を「適合」「要修正」「確認不能」で採点します。「確認不能」は、照合先がない、または確定資料を特定できないため、納品判断を保留する状態です。誤りが見つからない状態とは区別します。

項目名だけでは、判定者によって結果が変わります。「何を見るか」に加えて「どの確定資料と照合したか」「どこを直したか」を同じ行に残すことで、受入表は判定記録として機能します。

AIに草案作成を任せる範囲自体を整理したい場合は、広告レポートのAI草案を運用へ組み込む考え方も参照できます。草案作成と納品判断を分けたうえで、この受入表を後段の品質ゲートに置きます。

重大エラーは総合点と分けて止める

5項目がほぼ適合でも、納品判断を覆す誤りが残ることがあります。運用上の提案として、次の状態は項目別採点とは別の「重大エラー」欄へ記録します。

• 集計値が元データと一致せず、報告内容が変わる
• 根拠が主張を直接支えていない
• 顧客名、媒体名、施策名を取り違えている
• 確定していない施策条件を、確定事項として断定している

この一覧はあらゆる案件を網羅するものではありません。案件開始時に、納品を止める条件を追加します。たとえば顧客固有の禁止表現を重大エラーにするなら、どの表現が対象か、どの合意記録を参照するかまで受入表に記載します。

2026年9月21日時点で確認したNISTの「Generative Artificial Intelligence Profile」は、生成AIが誤りや虚偽を確信的に示す現象をconfabulationと定義し、誤った回答を正当化するような論理や引用も生成され得るとしています。文章が整い、引用らしい表示があること自体は、根拠確認の代わりになりません。

また、NIST AI RMFのMANAGE機能は、評価したリスクへの対応を影響度、発生可能性、利用可能な資源や方法に基づいて優先し、目的を達成しているか、導入などを進めるべきか判断する考え方を示しています。重大エラーを別枠にするのは、この優先順位を納品工程の停止条件へ具体化するためです。重大エラーが一つでも未解消なら、他項目が適合でも「納品可」にはせず、修正と再確認へ戻します。

受入表を使った納品判定の手順

判定では、草案の入力と出力を一つずつ対応させます。順番も固定すると、担当者が変わっても確認漏れの位置を追いやすくなります。

1. 草案の対象顧客、媒体、期間、施策、版を特定する
2. 受入表に、5項目それぞれの照合先を記入する
3. 計算と固有名詞を確定データ・確定表記に照合する
4. 各主張を表、グラフ、参照資料の該当箇所へ対応させる
5. 施策条件が確定・未確定のどちらかを確認し、断定表現と突き合わせる
6. 合意済みの表記・語調・禁止表現に沿って顧客文体を確認する
7. 各項目を採点し、修正内容と重大エラーの有無を記録する
8. 修正後は変更箇所だけでなく、変更の影響を受けた主張と計算も再確認する
9. 最終判断者が「納品可」「修正後に再判定」「照合先の確定待ち」を記録する

順番の要点は、文章表現を磨く前に、照合可能な事実関係を確認することです。顧客文体が整っていても、集計や施策条件が誤っていれば納品条件を満たしません。一方、文体だけの問題を重大エラーとして扱うかは、顧客との合意内容に基づいて事前に決めます。

同じ判定を繰り返せるよう、受入表には草案の版と判定日も残します。AIによる再生成で文章全体が変わった場合は、以前の適合判定を引き継がず、影響範囲を特定して再判定します。

根拠確認は「引用がある」で終えない

2026年9月21日時点のNIST生成AIプロファイルは、生成AI出力の正確性・品質・信頼性・真正性を確かめる方法として、既知の正解データとの比較、人による監督や自動評価、入力内容のレビューなど複数の方法を挙げています。また、導入前のリスク測定と継続監視で、出力に含まれる情報源と引用をレビューし検証することも挙げています。いずれも同文書の推奨アクションであり、法的な必須要件として示されたものではありません。

広告レポート草案では、この推奨を次の対応関係へ落とします。

• 数値を含む記述は、媒体の確定データや集計元へ戻る
• 原因や評価を述べる文は、その範囲を直接支える表・グラフ・確定資料を示す
• 施策に触れる文は、入力に使った承認記録と確定条件を確認する
• 引用や参照先が出力されていても、リンクや文書名だけで採用せず、該当箇所まで確認する

根拠が見つからなければ、もっともらしい補足で埋めません。「確認不能」として止め、主張を削るか、正しい参照資料を追加したうえで再判定します。AIの活用範囲と人の判断点をチーム単位で揃える際は、広告代理店のAI・DXを業務へ定着させる設計にもつながります。

顧客文体と施策条件を機械的に確認できる形にする

顧客文体は「丁寧にする」のような抽象条件では採点できません。運用上の提案として、受入表から参照できる形で、採用する用語、避ける表現、媒体名の書き方、評価表現の扱いを合意済みの記録へ結びつけます。過去資料を参照する場合も、承認済みかどうかを区別します。

施策条件では、条件そのものと確定状態を分けます。対象期間や媒体が記載されていても、検討中の内容は確定事項として扱えません。草案内の断定表現を拾い、対応する確定記録があるかを確認します。記録がなければ「確認不能」、記録と違えば「要修正」です。誤った確定情報として納品判断を左右する場合は、重大エラーへ移します。

この切り分けにより、単なる言い換えで直る箇所と、担当者による条件確定が必要な箇所を分けられます。AIへの再指示には、確定条件を維持する、未確定事項を断定しない、指定表記へ統一するといった具体的な修正条件を記します。

評価運用の見直し方は、AI導入の効果測定を業務単位で設計する方法とあわせて整理できます。ただし、この受入表が測るのは広告レポート草案の納品可否であり、AI導入全体の成果ではありません。

合格は5項目の適合と重大エラーなしで決める

広告レポート草案の最終欄には、項目別採点、重大エラー、照合先、修正履歴、判定者をまとめます。合格は「5項目がすべて適合」「重大エラーなし」「判定に使った照合先を記録」の全条件を満たした状態です。要修正や確認不能が残れば再判定へ戻し、重大エラーが残れば他の項目の出来栄えにかかわらず納品を止めます。

案件固有の違いは、照合先と重大エラー条件へ反映します。確定資料と合意事項を先に固定し、同じ受入表で入力、出力、判定結果をたどれるようにします。これにより、担当者の経験だけに依存せず納品可否を再判定できます。AIは草案と候補整理を担い、公開・出稿・納品の最終判断は人が行います。