English
Tiếng Việt導入初期は「AIエージェントに何ができるのか」が話題の中心でした。しかしエージェントが実際の業務を担い始めると、問われるのはAIエージェント監視のあり方です。エージェントが正しく動いているかを誰が確認し、間違ったときにどう気づくのか。結論から言えば、「良い状態」を事前に定義し、リスクのある業務には人の承認を残し、会話サンプルを定期的に確認することです。Salesforce Winter 27では、この観察と評価を進めやすくするツールが追加されました。
Agentforceは、顧客への回答、依頼の処理、CRM内での操作を行えるSalesforceのAIエージェント基盤です。本記事では、あまり語られない側面、つまりエージェントが正しく動いているかをどう見極めるかに焦点を当てます。
ご注意：本記事はWinter 27に関する公開資料・公開情報に基づいています。Custom Scorersを含む一部の機能はベータとして案内されているため、名称や提供状況が変更される可能性があります。AI機能の費用やライセンスは、Salesforceまたは導入パートナーに別途ご確認ください。例に登場するオフィス機器の販売会社は仮定の事例であり、実在の顧客ではありません。
AIエージェントが実務を担うと、問いは「何ができるか」から「誰が確認するか」へ変わります。AIエージェント監視：なぜ問いが変わったのか
ソフトウェアが提案をするだけなら、最終判断はユーザーが行うため、ミスは人の段階で見つかることが多いものです。一方、AIエージェントが自ら顧客に回答し、操作まで実行する場合、誰かが気づく前にミスが外部へ出てしまうことがあります。
そのため、経営層の問いは「エージェントに何ができるか」から「エージェントが正しく動いているとどう分かるか」へと移りつつあります。デモで滑らかに動くエージェントが、実際の数百の場面、特に珍しいケースやデリケートなケースでも適切に対応できるとは限らないため、早い段階で問う価値があります。
これは技術だけの問題ではなく、責任の問題でもあります。エージェントが価格や契約条件について誤った回答をしても、顧客に対して責任を負うのは企業です。
Winter 27で追加されたAIエージェント監視の機能
Winter 27に関する情報によると、Salesforceはエージェントのセッションの品質を観察・評価するためのツールを追加しています。中心となる概念は、Agentforce ObservabilityとCustom Scorersの2つです。
| ツール | できること | 備考 |
|---|---|---|
| Agentforce Observability | セッションの詳細な追跡（session tracing）と成果指標により、各セッションでエージェントが何をしたかを可視化 | 基盤となる観察レイヤー |
| Custom Scorers | 企業が独自の評価基準を定義でき、結果は「合格」「不合格」「該当なし」で示される | Winter 27ではベータとして案内 |
| Session scoring | 言語モデルを使い、編集可能な基準でセッション全体を採点 | 設定とライセンスに依存 |
特に注目したいのはCustom Scorersです。Salesforceがあらかじめ用意した汎用の指標だけに頼るのではなく、自社のニーズに合わせた合否の問いを自分で書くことができます。たとえば「顧客が返金について尋ねたとき、エージェントは担当者に引き継いだか」といった問いです。ドキュメントによると、スコアラーはプロンプトテンプレートを使い、言語モデルがエージェントの振る舞いを自動で評価します。
ツールが「正しいかどうか」に答えられるのは、企業が何を正しいとするかを定義している場合だけです。この部分は、どのツールも代わりにはやってくれません。
AIエージェント監視のために、実務を任せる前に行う3つのこと
「良いエージェント」を事前に定義する
- 3〜5個の具体的な基準を書き出す。例：ポリシーに沿って回答する、権限外の約束をしない、必要なときに人へ引き継ぐ
- 基準が具体的であるほど、スコアラーやテストに変換しやすい
- 技術部門に任せきりにせず、営業やサービス部門も参加させる
リスクのある業務には人の承認を残す
- エージェントが単独で行ってよい業務と、承認が必要な業務を分類する
- 金銭、契約、機密データ、クレームに関わる業務は、人が確認する
- エージェントが判断に迷ったときの、担当者への明確な引き継ぎ経路を用意する
会話サンプルを定期的に確認する
- 毎週、責任者が数件のセッションを読む。良好なセッションと低評価のセッションの両方を対象にする
- 繰り返し起きるエラーを記録し、エージェントの指示や対応範囲の調整に活かす
- 自動採点は読むべきセッションを選ぶ助けになるが、読むこと自体を完全には置き換えない
事例イメージ：カスタマーケア用エージェント
仮定の例です。あるオフィス機器の販売会社が、注文や保証に関する顧客対応にAIエージェントを使います。本番稼働の前に、経営陣は次の4つの基準を決めました。
| 基準 | 合否の問い | 不合格のときの対応 |
|---|---|---|
| ポリシー順守 | 保証条件を正しく伝えたか | エージェントの情報源を見直す |
| 権限の範囲 | 値引きや返金を約束していないか | 対応範囲を絞り、人の承認ステップを追加する |
| 人への引き継ぎ | 顧客が不満を述べたり返金を尋ねたりしたとき、担当者へ引き継いだか | 引き継ぎルールを追加する |
| トーン | 丁寧で分かりやすかったか | 指示を調整する |
毎週、カスタマーケアの責任者が不合格と採点されたセッションをいくつか読み、繰り返し起きるエラーを記録します。数週間後には、エージェントがどこに弱いのか、単独で任せる範囲をどこまで広げてよいのかが見えてきます。これはプロセスの例であり、実在の顧客の数値は含まれていません。
ベータ版・費用・責任に関する注意点
名称と提供状況を確認する。Custom ScorersはWinter 27でベータとして案内されています。計画を立てる前に、公式のリリースノートで最新の名称と提供状況をご確認ください。
費用とライセンスは別途確認する。Salesforceの記事によると、Agentforce ObservabilityはAgentforceのお客様に対して利用量に応じた追加料金はかかりませんが、Agentforce自体やその他のAI機能には、それぞれ費用とライセンス条件があります。導入を決める前に、Salesforceまたは導入パートナーへご確認ください。
ツールは責任の代わりにならない。自動採点は、どのセッションを見るべきかをすばやく把握するのに役立ちますが、エージェントに何を任せるかを決めるのは人です。
小さな範囲から始める。エージェントに限定した1つの業務を任せ、注意深く観察してから広げていきましょう。SalesforceのAIにできることを知りたい方は、Einstein AI in Salesforce：営業・マーケティングチームのためのAI活用（英語）を、今回のリリースのその他の変更点はSalesforce Winter 27：重要な5つの変更点（英語）をご覧ください。
AIエージェント監視：実務を任せる前のチェックリスト
エージェントの対象を広げる前に、次の短いリストを確認し、誰がエージェントをチェックするのかという問いに答えられる状態にしましょう。
☐ 良いエージェントの具体的な基準を3〜5個書いた
☐ エージェントが単独で行う業務と承認が必要な業務を分類した
☐ エージェントが迷ったときの担当者への引き継ぎ経路を用意した
☐ 毎週会話サンプルを読む責任者を決めた
☐ 各機能の名称とベータ／GAの状態をリリースノートで確認した
☐ AI機能の費用とライセンスを確認した
☐ 限定した範囲からエージェントを始めた
御社ではすでにAIエージェントを使っていますか？そして、その動きを誰が見ていますか？ぜひ下のコメント欄にお寄せください。Sonixチームが皆様の取り組みをお待ちしています。
Einstein AI
業界トレンド
デジタルトランスフォーメーション
ビジネス
Sonixへの相談で、エージェントの対応範囲、評価基準、そして御社に合った監視の進め方を一緒に整理しましょう。
Sonix: Your success is our happiness.
コメントを残す