AIの自動実行はどこまで任せる？｜発注・見積もり・顧客対応の承認ポイント

「AIに発注の登録まで任せてよいのか」「見積もりを顧客に送るところまで自動にしてよいのか」。AIエージェントを業務に組み込もうとすると、AIの精度より先に、こうした線引きで社内の議論が止まることがあります。結論から言えば、AIに任せる範囲は「下書き」「提案」「承認後実行」「自動実行」の4段階に分け、金額・顧客への影響・取り消せるか・例外条件の4つの観点で、操作ごとに段階を決めます。そのうえで、権限・記録・二重実行の防止・停止と復旧を仕組みとして用意し、例外や二重実行を含めて本番前に試します。

ここでいう「AIの自動実行」とは、AIが社内外のシステムを操作して、発注の登録、見積もりの送付、顧客への返信などを行うことです。4つの段階のうち「自動実行」は、そのなかでも人の確認を挟まずに実行する段階を指します。総務省・経済産業省の「AI事業者ガイドライン（第1.2版）」は、AIエージェントを「特定の目標を達成するために、環境を感知し自律的に行動するAIシステム」と定義しています（出典：AI事業者ガイドライン（第1.2版）本編｜総務省・経済産業省）。AIエージェントそのものの仕組みや使いどころは、AIエージェントとは｜業務での使いどころと導入の進め方で解説しています。この記事では、その先の「実行をどこまで任せ、どこで人が承認するか」を、次の5つの手順で整理します。

1. 1段階を4つに分ける — 下書き・提案・承認後実行・自動実行の違いを決める
2. 2操作ごとに段階を決める — 金額・顧客への影響・取り消せるか・例外条件で判断する
3. 3業務ごとに承認の箇所を決める — 発注・見積もり・顧客対応で、人が確認する操作を決める
4. 4実行の仕組みを用意する — 最小限の権限、記録、二重実行の防止、停止と復旧を整える
5. 5本番前に試す — 例外・入力の不備・権限の制限・二重実行・引き継ぎ・停止と復旧を含めて確かめる

なぜ、AIに任せる範囲を先に決める必要があるのか？#

AIがシステムを操作できるようになると、誤りの影響が「人が読んで気づく」ものから「操作が実行されてしまう」ものに変わるからです。下書きの誤りは人が直せば済みますが、送ってしまったメールや登録してしまった発注は、取り消しに手間や費用がかかります。

AI事業者ガイドライン（第1.2版）の別添も、AIによるリスクの例として、AIエージェントが自律的な動作の中で人間の意図しない商品の注文やファイル削除等の動作を行う可能性を挙げています（出典：AI事業者ガイドライン（第1.2版）別添｜総務省・経済産業省）。

ソフトウェアのセキュリティに取り組む国際的なコミュニティOWASPの生成AI向けプロジェクト（OWASP Gen AI Security Project）は、LLM（大規模言語モデル）を使ったアプリケーションの主なリスクをまとめた2025年版の一覧で、こうしたリスクを「Excessive Agency（過剰な権限・自律性）」として挙げ、原因を次の3つに分けています（出典：LLM06:2025 Excessive Agency｜OWASP Gen AI Security Project）。

• 過剰な機能 — 業務に必要のない操作まで、AIが使える状態になっている
• 過剰な権限 — 操作先のシステムで、必要以上の権限を持っている
• 過剰な自律性 — 影響の大きい操作を、人の確認なしに実行できる

3つとも、AIの精度ではなく任せ方の設計で決まる点が重要です。

一方で、AIエージェントを業務に組み込む取り組みは、多くの企業でまだこれからです。総務省の「令和8年版 情報通信白書」が生成AIによる業務変革等に関する環境整備の状況を尋ねた調査では、「社員が生成AIを活用したアプリやAIエージェントを開発可能な技術環境にある」を選んだ割合は、日本の回答で15.3%でした（米国22.1%、ドイツ27.4%、中国31.1%。出典：令和8年版 情報通信白書 データ集（図表Ⅰ-2-1-5）｜総務省）。AIに実行まで任せる業務が増える前に、線引きの考え方を社内でそろえておくと、後から1件ずつ議論し直す手間を減らせます。

AIに任せる段階は、どう分けるか？#

AIに任せる範囲は、AIが何をして、人が何をするかで4つの段階に分けます。段階は業務単位ではなく、「発注案を作る」「発注を登録する」のような操作ごとに決めます。同じ発注業務でも、案を作る操作と登録する操作では、誤ったときの影響が違うからです。

次の表は、4つの段階それぞれで、AIがすることと人がすることをまとめたものです。

「承認後実行」と「自動実行」は、何が違うのか？#

承認後実行は、人が承認した内容だけをAIが実行する段階です。ここで大切なのは、承認した内容と実行される内容が一致するように、仕組みで確かめることです。承認のあとに数量や宛先が変わった場合は、そのまま実行せず、もう一度承認を求めるようにします。

自動実行は、人の確認を挟まずにAIが操作する段階です。人の関わり方は「1件ずつ確認する」から「記録を見て、例外と誤りに対応する」に変わります。最初から自動実行を目指さず、まず承認後実行で記録を積みます。そのうえで、次の節の4つの観点で承認を置く側に当たらない操作のうち、修正がほとんどなく、承認者とは別の人が抜き取りで確かめても問題がなかったものから自動実行に移すと、移す根拠を記録で示せます。別の人が抜き取りで確かめるのは、修正が少ない理由が、承認が形だけになっていることにある場合もあるからです。

どの操作をどの段階にするかは、何で判断するか？#

金額、顧客への影響、取り消せるか、例外条件の4つの観点で判断します。4つのうち1つでも「人の承認を置く」側に当たる操作は、自動実行にせず、承認後実行までにとどめます。迷う操作も、承認後実行に置いておきます。取り消せず影響も大きい操作や、AIの判断をまだ確かめられていない操作は、AIに実行させず、下書きや提案にとどめます。

次の図と箇条書きの4項目は、上から順に、金額、顧客への影響、取り消せるか、例外条件の観点に当たります。

自動実行に寄せられる

• 金額が上限の範囲内：社内で決めた上限額を超えない
• 顧客への影響が小さい：社内で完結するか、決まった文面の連絡だけ
• 実行後に取り消せる：取り消しに費用や手間がかからない
• いつもと同じ条件：決めたルールにそのまま当てはまる

人の承認を置く

• 金額が上限を超える：上限を超える、または金額が決まっていない
• 顧客に個別の内容が届く：見積もりの送付、注文の確定、返金の返信など
• 取り消せない：取り消しに費用がかかる、または相手がすでに対応を始める
• 初めての条件：新しい取引先、ルールに当たらない依頼

金額の上限は、会社ごとに違います。過去の発注や返金の記録を見て、誤って実行されたときに業務で吸収できる金額で線を引きます。顧客への影響は「個別の内容が相手に届くかどうか」で判断し、届くものには人の承認を置きます。受付の連絡のように文面が決まっていて、約束や金額を含まないものは、自動実行の候補にできます。取り消せるかは、実行したあとに元に戻す手順と費用で判断し、戻せないものは自動実行にしません。例外条件は、決めたルールにそのまま当てはまるかで判断し、当てはまらない依頼はAIに判断させず人に回します。

人の承認を置けば、安全なのか？#

承認を置くだけでは、安全とは言い切れません。承認する人がAIの結果をそのまま信じてしまうと、承認は形だけになるからです。AI事業者ガイドライン（第1.2版）本編は、各主体が取り組む事項として、人間が自動化されたシステムに過度に依存する「自動化バイアス」等のリスクに注意を払い、必要な対策を講じることを挙げています。その対策の例として、AIの評価や判断等を人間が承認する際には、承認する理由や根拠を人間自身が独自に考えてから承認すべきことなどが提案されている、と注記しています（出典：AI事業者ガイドライン（第1.2版）本編｜総務省・経済産業省）。

また同ガイドラインの別添は、AIエージェントの自律性が高まるにつれ、人間による監視のみでは高速なAI間相互作用への対応が困難となる場合が十分に想定される、と脚注で述べています（出典：AI事業者ガイドライン（第1.2版）別添｜総務省・経済産業省）。AI同士のやり取りが速くなる場面を想定した記述ですが、人の確認だけに頼る設計を見直す手がかりになります。人の確認だけに頼らず、承認を意味のあるものにするために、次の3点を合わせて設計します。

• 承認画面に判断の材料を出す — AIの結論だけでなく、元のデータ、前回との違い、実行したときの影響を表示し、承認者が自分で確かめてから承認できるようにする
• 承認の件数を絞る — 依頼が多すぎると、1件ずつ根拠を確かめる時間がなくなる。影響の小さい操作は自動実行に寄せ、承認は判断が要る操作に集める
• 人に頼らない歯止めを置く — 上限額や操作できる対象は、承認とは別にシステムの側で制限する

発注・見積もり・顧客対応では、どこに承認を置くか？#

業務ごとに、AIに任せる操作、承認を置く操作、自動実行してよい条件の例を整理すると、次のようになります。いずれも出発点の例で、条件の数値や範囲は、自社の記録を見て決めます。

発注：定期補充を自動実行の候補にし、条件が変わったら承認に戻す#

発注は、金額と取り消しやすさで段階を分けやすい業務です。たとえば消耗品の定期補充で、仕入先と品目が決まっており、1回の発注額が社内の上限内に収まるなら、自動実行の候補になります。一方で、仕入先の単価が前回から変わっていた、数量がいつもの範囲を外れた、といった条件の変化があれば、その発注だけ承認後実行に切り替えます。「いつもと違う」を検知したら人に戻す仕組みが、自動実行を続けるための前提です。

見積もり：顧客への送付は人が決める#

見積もりは、顧客に届いた時点で会社としての提示になります。AIには依頼の整理と根拠付きの案の作成までを任せ、値引き、最終価格、顧客への送付は人が決めます。案の作成と担当者への通知は社内で完結するので、自動実行にしても影響は限られます。見積もりの案件を標準・重要・例外に分け、承認者を決める方法は、社長がいないと見積もりが出せない｜AIで概算を作り、承認を分担する方法で詳しく解説しています。

顧客対応：定型の連絡だけを自動実行の候補にする#

顧客対応では、返信の内容によって影響が大きく変わります。問い合わせの受付連絡や、あらかじめ登録した定型の回答で答えられる質問への返信は、文面が決まっていて約束や金額を含まないため、自動実行の候補です。返金、契約の変更、苦情に関わる返信は、内容によっては取り消せない約束になるため、AIの回答案を担当者が確かめてから送ります。AIが分類に迷った問い合わせは、自動で返信せず担当者に回します。

自動実行させる前に、どんな仕組みを用意するか？#

最小限の権限、記録、二重実行の防止、停止と復旧の4つです。どれも、AIが誤ったときに被害を小さくし、原因を追えるようにするための仕組みで、承認の有無にかかわらず用意します。

次の表は、4つの仕組みそれぞれで決めることと、仕組みの例です。

権限は、AIの判断に任せずシステムの側で制限する#

OWASP の Excessive Agency の項目は、対策として、AIが使える機能と権限を必要最小限にすること、影響の大きい操作の前に利用者の承認を求めることに加えて、操作が許されるかどうかの判断をAIに任せず、操作先のシステムの側で行うことを挙げています（出典：LLM06:2025 Excessive Agency｜OWASP Gen AI Security Project）。同じ項目では、操作を利用者本人の権限の範囲で実行させる方法も挙げられています。

ここからは弊社の設計の考え方です。担当者の権限をそのままAIに渡すと、担当者にできる操作はすべて、AIも誤って実行できてしまいます。そこで、AI専用のアカウントに必要な権限だけを付けるか、利用者の権限をさらに絞って使うかを、業務に応じて選びます。発注なら、登録できる仕入先と上限額を基幹システムの側で制限しておけば、AIが誤った指示を受けても、上限を超える発注は通らないようにできます。生成AIの社内での利用ルール（入力してよい情報など）は、社内で生成AIを安全に使う｜リスクと利用ガイドラインの作り方で整理しています。

記録には、何を残すか？#

AI事業者ガイドライン（第1.2版）本編は、「透明性」の項目の「検証可能性の確保」で、各主体が取り組む事項として、AIの判断にかかわる検証可能性を確保するため、合理的な範囲で、利用時の入出力等や判断根拠等のログを記録・保存すること、記録方法・頻度・保存期間等を検討することなどを挙げています（出典：AI事業者ガイドライン（第1.2版）本編｜総務省・経済産業省）。

業務で後から確かめたくなるのは、「誰の依頼で、AIが何を根拠に、どの操作をしたか。承認したのは誰か」です。この4点を、AIとの会話の画面だけでなく、業務システムの記録として残します。会話の画面にしか残っていないと、発注や返信の記録と突き合わせられません。

二重実行は、なぜ起きるのか？#

AIが操作の結果を待つ間に通信が途切れたり、応答が遅れたりすると、AIや連携の仕組みが「失敗した」と判断して同じ操作をやり直すことがあります。実際には1回目が成功していれば、同じ発注が2件登録されます。依頼ごとに番号を振り、操作の前に「その番号で実行済みか」を確かめるようにしておくと、やり直しても二重に実行されにくくなります。

停止と復旧は、何を決めておくか？#

異常に気づいたときにAIの実行を止める操作、止める判断をする担当者、実行済みの操作を取り消す手順の3つです。止める操作が担当者の画面から1回でできるようにし、取り消しの手順は発注・返信など操作の種類ごとに書いておきます。止めているあいだ、依頼をどう人に回すかも決めておくと、業務が止まりません。

本番に移す前に、何を試すか？#

正常な依頼だけでなく、例外、入力の不備、権限の制限、二重実行、人への引き継ぎ、停止と復旧を含めて試します。正常な依頼で正しく動くことは、デモの段階でも確かめられます。本番前に確かめるべきなのは、想定から外れたときに、止まるべきところで止まり、人に戻るべきところで戻るかです。次の表は、そのままテストの計画に使えます。

テストには、過去に実際にあった依頼を使うと、本番に近い確かめ方になります。合格の基準は、結果を見る前に業務の責任者と決めておきます。AIのモデルや手順、参照するデータを変えたときは、同じテストをもう一度通してから本番に戻します。

自動実行で起きやすい落とし穴は？#

次の4つは、仕組みを入れたあとに起きやすい失敗です。

• すべての操作に承認を置く — 承認の依頼が増えすぎて、中身を見ずに承認するようになる
• 承認のあとに内容が変わる — 承認した数量や宛先と、実際に実行された内容が食い違う
• 権限を絞らずにAIに渡す — 担当者ができることは、AIも誤ってできてしまう
• 記録がAIの会話にしか残っていない — 業務システムの記録と突き合わせられず、原因を追えない

まとめ#

AIの自動実行をどこまで任せるかは、AIの精度だけでは決まりません。操作ごとに段階を決め、承認と仕組みで支えることで決まります。

• AIに任せる範囲を、下書き・提案・承認後実行・自動実行の4段階に分け、段階は操作ごとに決める
• 金額・顧客への影響・取り消せるか・例外条件の4つで判断し、1つでも「人の承認を置く」側に当たる操作は自動実行にしない
• 承認を置くだけでは安全とは言い切れない。承認画面に判断の材料を出し、承認の件数を絞り、上限や権限はシステムの側で制限する
• 発注は定期補充から、見積もりは社内向けの案まで、顧客対応は定型の連絡から自動実行を検討する
• 最小限の権限、記録、二重実行の防止、停止と復旧を、承認の有無にかかわらず用意する
• 本番前に、例外・入力の不備・権限の制限・二重実行・引き継ぎ・停止と復旧を含めて試す

まずは、AIに任せたい業務の操作を書き出し、4つの観点でどの段階に置くかを決めるところから始めてください。

よくある質問（FAQ）#

Q. AIにどこまで自動で実行させてよいですか？

A. 金額が社内の上限内で、顧客への影響が小さく、実行後に取り消せて、いつもと同じ条件の操作が自動実行の候補です。4つの条件のうち1つでも満たさない操作は、人が承認してから実行する形にとどめることをおすすめします。あわせて、権限・記録・二重実行の防止・停止と復旧の仕組みが整っていることが前提です。

Q. 人が承認すれば、AIの誤りは防げますか？

A. 承認だけでは防ぎきれません。承認する人がAIの結果をそのまま信じると、確認が形だけになるためです。承認画面に元のデータや前回との違いを表示して承認者が自分で確かめられるようにし、承認の件数を判断が要るものに絞り、上限額や権限はシステムの側で制限します。

Q. 自動実行に移すタイミングは、どう決めればよいですか？

A. まず承認後実行で運用し、4つの観点で承認を置く側に当たらない操作のうち、修正がほとんどなく、抜き取りで確かめても問題がなかったものから自動実行に移します。移したあとも記録を確認し、条件が変わった操作は承認後実行に戻せるようにしておきます。

Q. 既存の基幹システムにAIをつなぐとき、権限はどう設定しますか？

A. 担当者の権限をそのまま渡さず、AI専用のアカウントに必要な操作だけを許可するか、利用者の権限をさらに絞って使います。仕入先や上限額などの制限は、AIの指示に頼らず基幹システムの側で設定します。

AIに任せる範囲と、承認の設計をご相談ください#

弊社（株式会社TryWith）は、AIソリューション開発とシステム受託開発を通じて、AIに任せる業務の選定から、操作ごとの段階と承認の設計、権限・記録・二重実行の防止・停止の仕組み、既存の基幹システムとの連携、本番前のテストまでを、開発を担う立場から支援しています。

AIに実行させたい業務と、いまの承認の流れをうかがい、どの操作をどの段階に置くか、どこに承認を置くかを整理してご提案します。どの業務から自動化すればよいか決めたい、という段階からのご相談も承ります。

お問い合わせはこちら