Zohoの「Smaller, Smarter, Safer」——AIエージェントが失うのは精度ではなく、チームの信頼
AIエージェントの導入で本当に怖いのは、間違った出力そのものではなく、一度間違えたエージェントをチームが二度と信頼しなくなることだ——CIO 100 Leadership Live NYでZohoが語った実践知は、その痛みを当事者として率直に開示している。AIエージェント導入の土台設計を考える材料として、事実を整理した上で作る側の視点で見解を書く。
出典: Smaller, smarter, safer: How to build agentic AI on the right foundation (CIO.com)
要点 (事実のみ)
- Zohoの営業・アカウント管理責任者Ricky Thakrar氏は、社内AI展開の方針を「Smaller (全タスクに最大火力を使わない)、Smarter (モデルよりその周辺システムが結果を決める)、Safer (ミスが確定する地点で検証する)」と定式化した
- 同氏は「フロンティアモデルの巨大さは、主に欠けたコンテキストを補うために存在する」とし、リッチなコンテキスト層があれば、はるかに小さく安価なモデルで業務を回せると主張。「知性はモデルから、その周囲のアーキテクチャへ移る」と述べた
- Zoho初期の解約 (チャーン) 検知エージェントは、CRM上でバンドル購入時に個別製品が「非アクティブ」になる仕様を解約と誤認し、導入1週間でチームの信頼を失った。v2で修正後も、パイロット環境の閉鎖や意図的な製品乗り換えを誤検知し、信頼は再び低下。約1年経った今もチームはエージェントの出力を手作業で再調査しており、生産性向上は実現していないという
- 教訓として「制約され、コンテキストが豊富で、決定的なアーキテクチャは、断片化されたシステムに高価なモデルを載せた構成に一貫して勝る」とし、3つの柱を挙げた: ルーティング (タスクに適したモデルへ振り分け。「30億パラメータのモデルで95%のコスト削減ができた顧客もいる」)、ハーネス (ツール・メモリ・ガードレール・実行環境をつなぐ足場)、専門化
- ベンチマークでは「優れたハーネス×小さいモデル」が「劣ったハーネス×大きいモデル」に勝つとし、決定的なタスク (読む・整理・検証) は機械に、非決定的なタスク (判断・統合・意思決定) は人間に割り当てる「ヒューマンハーネス」の設計を提唱した
徐 聖博の見解
チャーンエージェントの失敗談を、私は今年読んだAI導入の話で最も価値のある一次情報だと思う。注目すべきは失敗の中身だ。モデルの推論力が足りなかったのではない。「バンドル化で個別契約が非アクティブになる」という、アカウントマネージャーなら誰でも知っている業務知識がエージェントに渡っていなかった。つまりALSEAの記事で書いた「主戦場は組織の知見の体系化」という話が、ベンダー側ではなくユーザー企業の傷口から語られている。そして本当のコストは誤検知そのものではなく、1年経っても回復していない「チームの信頼」だ。私もAIエージェントのPoC支援で痛感しているが、人はエージェントを一度疑うと、出力の検証に元の作業以上の時間をかけ始める。導入効果はマイナスになる。信頼は精度の関数ではなく、「自分たちの業務の例外を知っているか」の関数なのだ。
作る側として強く同意するのが「優れたハーネス×小さいモデル > 劣ったハーネス×大きいモデル」という定式だ。FTのサプライチェーン調査でも「エージェントの多くは既存技術のリブランド」という現実があったが、Zohoの整理はその先を示している。差がつくのはモデル選定ではなく、ルーティング (全タスクにフロンティアモデルを使わない)、ハーネス (ツール・ガードレール・実行環境の設計)、そして決定的/非決定的の切り分けだ。特に「30億パラメータで95%コスト削減」という具体値は、当社の現場感覚とも近い。日本語の業務文書の分類・抽出・照合のような決定的タスクは、小さいモデルで十分に回る。フロンティアモデルの料金表を見てAI導入を諦めている企業は、実は前提から間違っている可能性がある。
中小企業への示唆をまとめると、順序はこうなる。①自分たちの業務の「例外」を洗い出して言語化する (Zohoの失敗はすべて例外の未伝達だった)、②タスクを決定的/非決定的に分け、人間の判断が要る場所を先に決める、③モデルは最後に、タスクに見合う最小のものを選ぶ。エージェント導入の予算の大半は、モデルのAPI料金ではなく、この①②の設計に使うべきだ——Zohoの1年分の授業料が、それを裏付けている。
(編集レンズ: AIを「作る側」の目線 / 実装・運用視点 / 発注側・中小企業への含意)
