技術文書のRAG検索を業務で使える形にする

対象にする文書を選ぶ

古い手順を答えさせないための設計

• 対象を「有効版のみ」に限定し、廃止版はインデックスから外す
• 文書ごとに版・発効日・所管部署をメタデータとして持つ
• 回答には必ず出典（文書名・版・該当箇所）を表示する
• 文書が更新されたら再取り込みする仕組みを運用に組み込む
• 取り込み日時を表示し、いつ時点の情報かを利用者に分かるようにする

RAGの品質は、モデルよりも「対象文書の整理状態」で決まります。文書が整理されていない状態で導入すると、間違いを高速に配る仕組みになります。

権限と出典

• 利用者の権限に応じて、検索対象の文書を絞る（原価・単価資料など）
• 回答に含める出典は、利用者が実際に開ける文書に限る
• 検索ログ（誰が何を聞いたか）の保存範囲と期間を決める
• 社外サービスを使う場合、送信される文書内容と保存の有無を確認する

答えられないときに止める設計

業務で困るのは「分かりません」より、根拠の無い答えがもっともらしく返ることです。次の場合は回答を作らず、止めて人に渡す動作を最初から決めておきます。

評価の方法

1. 現場から実際の質問を30〜50件集める（想定質問ではなく実際に聞かれている質問）
2. 各質問の「正しい根拠文書」を人が決める
3. 回答ではなく、まず「正しい文書を引けているか」で評価する
4. 引けなかった質問を分類する（文書が無い／表現が違う／分割が悪い）
5. 文書が無いものは、AIの問題ではなく文書整備の課題として扱う

あわせて、回答の正しさとは別に「探す時間」「根拠を確認する時間」「答えが違って調べ直した時間」を、導入前の手作業と比べます。正しく答えても確認に時間がかかるなら効果は出ません。

評価に使う質問と文書は、架空のもの、または社内で利用が許可された非機密のものに限ります。当社がこの評価で得た実測値を公開できる段階にはまだありません。

評価で最も多い発見は「そもそも社内に答えが文書化されていない」ことです。これはAIでは解決できません。ただし、どの知識が文書化されていないかが特定できるだけでも価値があります。

失敗する条件

• 対象文書を絞らず、共有フォルダ全体を丸ごと取り込む
• 廃止版・下書き・個人メモが混ざったまま運用する
• 出典を表示せず、回答文だけを見せる
• 利用者が「調べる代わり」ではなく「確認せずに使う」運用になる
• 導入後に文書の更新が取り込まれず、内容が古くなる

相談の前に用意するもの

最初の相談では、文書そのものは不要です。次の3点が分かれば、対象範囲の絞り方と評価の進め方をお返しできます。

1. 対象にしたい文書の種類（作業手順書、トラブル記録、仕様書など）とおおよその量
2. 今の管理方法（共有フォルダ、文書管理システム、紙など）と、版をどう区別しているか
3. 現場で実際に出ている質問の例を数件（言い回しのままで構いません）

社内文書や顧客の資料は、相談フォームに添付・記載しないでください。評価に使う段階で、秘密保持契約と受け渡しの方法を合意してから扱います。

よくある質問

社内文書が整理されていません。先に整理すべきですか。

全部を整理してから始める必要はありません。対象を「作業手順書の有効版だけ」など1カテゴリに絞れば着手できます。むしろ、使いながら「どの文書が引けないか」を可視化し、その順に整備するほうが現実的です。

一般の生成AIサービスに社内文書を入れるのとどう違いますか。

大きな違いは、出典を示せること、対象文書を限定できること、権限で絞れること、更新を反映できることです。会話型サービスへの貼り付け運用では、この4点が担保されず、古い情報や権限外の情報が混ざるリスクが残ります。

導入効果はどう測ればよいですか。

「探すのにかかっていた時間」を基準にします。導入前に、対象業務で月に何件、1件あたり何分の検索が発生しているかを記録しておくと、導入後の比較ができます。回答の正確さは、出典の妥当性を人が確認する形で継続的に見ます。