技術文書のRAG検索を業務で使える形にする

対象にする文書を選ぶ

古い手順を答えさせないための設計

• 対象を「有効版のみ」に限定し、廃止版はインデックスから外す
• 文書ごとに版・発効日・所管部署をメタデータとして持つ
• 回答には必ず出典（文書名・版・該当箇所）を表示する
• 文書が更新されたら再取り込みする仕組みを運用に組み込む
• 取り込み日時を表示し、いつ時点の情報かを利用者に分かるようにする

RAGの品質は、モデルよりも「対象文書の整理状態」で決まります。文書が整理されていない状態で導入すると、間違いを高速に配る仕組みになります。

権限と出典

• 利用者の権限に応じて、検索対象の文書を絞る（原価・単価資料など）
• 回答に含める出典は、利用者が実際に開ける文書に限る
• 検索ログ（誰が何を聞いたか）の保存範囲と期間を決める
• 社外サービスを使う場合、送信される文書内容と保存の有無を確認する

評価の方法

1. 現場から実際の質問を30〜50件集める（想定質問ではなく実際に聞かれている質問）
2. 各質問の「正しい根拠文書」を人が決める
3. 回答ではなく、まず「正しい文書を引けているか」で評価する
4. 引けなかった質問を分類する（文書が無い／表現が違う／分割が悪い）
5. 文書が無いものは、AIの問題ではなく文書整備の課題として扱う

評価で最も多い発見は「そもそも社内に答えが文書化されていない」ことです。これはAIでは解決できません。ただし、どの知識が文書化されていないかが特定できるだけでも価値があります。

失敗する条件

• 対象文書を絞らず、共有フォルダ全体を丸ごと取り込む
• 廃止版・下書き・個人メモが混ざったまま運用する
• 出典を表示せず、回答文だけを見せる
• 利用者が「調べる代わり」ではなく「確認せずに使う」運用になる
• 導入後に文書の更新が取り込まれず、内容が古くなる

よくある質問

社内文書が整理されていません。先に整理すべきですか。

全部を整理してから始める必要はありません。対象を「作業手順書の有効版だけ」など1カテゴリに絞れば着手できます。むしろ、使いながら「どの文書が引けないか」を可視化し、その順に整備するほうが現実的です。

一般の生成AIサービスに社内文書を入れるのとどう違いますか。

大きな違いは、出典を示せること、対象文書を限定できること、権限で絞れること、更新を反映できることです。会話型サービスへの貼り付け運用では、この4点が担保されず、古い情報や権限外の情報が混ざるリスクが残ります。

導入効果はどう測ればよいですか。

「探すのにかかっていた時間」を基準にします。導入前に、対象業務で月に何件、1件あたり何分の検索が発生しているかを記録しておくと、導入後の比較ができます。回答の正確さは、出典の妥当性を人が確認する形で継続的に見ます。