RAGは、AIが回答を作る前に社内文書を検索し、見つけた資料を根拠として使う方法です。「社内の資料をAIに覚え込ませる」こととは違います。検索が外れたり、閲覧権限を無視したりすると、文章が自然でも役に立たないため、文書整理・検索・回答を分けて試します。
01RAGの流れを確認する
利用者が質問を入力すると、システムは関連する文書の箇所を探し、その部分をAIに渡して回答案を作ります。画面には回答だけでなく、参照した資料名、該当箇所、更新日を示せるようにします。根拠が見つからない場合は、推測で回答せず「資料では確認できない」と返す設計が必要です。
まず検索結果だけを人が見て、正しい資料を拾えているか確認してください。検索に失敗しているのに回答の言い回しだけ変えても、根本的な改善にはなりません。
02文書を投入する前のチェックリスト
- 同じ規程の旧版と新版が混在していないか
- PDFの文字が検索できる状態か
- 文書の所有者、更新日、対象部署が分かるか
- 閲覧できる人を文書ごとに制御できるか
- 削除・差し替え時に検索対象へ反映できるか
たとえば人事規程と顧客向けFAQを同じ権限で扱うと、検索結果に見せてはいけない情報が混ざる可能性があります。検索前の認可と、回答時の参照範囲の両方を確認します。
03実際の質問で検索と回答を別々に評価する
業務担当者に普段の質問を集めてもらい、「答えが資料にある」「複数文書を照合する」「資料には答えがない」「質問者に権限がない」の四種類を含めます。各質問に正しい根拠と望ましい対応を記録して試験セットにします。
検索段階では必要な文書が候補に入ったか、回答段階では根拠にない内容を足していないかを別々に採点します。回答の流暢さだけでは評価できません。文書を更新した後も同じ質問を再実行し、古い回答が残らないか確認します。
04RAGが向く場合と向かない場合
文書が多く、更新もあり、利用者が探す時間を減らしたい場合に向いています。ただし、資料そのものが不足していたり、部署ごとの閲覧権限が定義されていなかったりする場合は、先に情報管理を整える方が重要です。単純なFAQだけなら、検索画面や固定の回答集で足りることもあります。
最初は一部署・一種類の資料に範囲を絞り、「回答までの時間」と「根拠を確認できた割合」を現行と比べてください。対象を増やす判断は、その結果と権限管理の負担を見てからで十分です。
05具体例：経費精算の締切を社内規程から探す
架空の社内質問「出張費の申請はいつまでですか」に対し、検索対象を最新版の経費規程と申請手順だけに絞ります。検索結果に「出張終了後10営業日以内」と書かれた箇所があれば、回答には規程名・該当箇所・更新日を添えます。旧版に「月末まで」とあっても新版が優先されるよう、旧版の扱いと差し替え担当者を決めます。質問者が閲覧権限を持たない人事資料は、検索候補に混ぜません。
次に「海外出張の特例は？」と聞きます。対象資料に規定がなければ「確認できる資料には記載がないため経理へ確認」と返すのが正解です。もっともらしい期限を作る回答は不合格にします。検索候補に正しい資料が入らなければ文書の取り込み・分割・検索設定を見直し、資料は取れているのに答えが違うなら回答生成側を見直します。二つの失敗を混同しないことが改善の近道です。
試験表には質問、閲覧者の役割、期待する根拠、検索された資料、回答、人の修正時間を記録します。回答できない質問や権限外の質問も含めて比べれば、単なる「それらしい答え」ではなく、実務で役立つかを判定できます。
参考資料
内容は公開時点の公式資料をもとに構成しています。仕様は変更されることがあるため、導入時は最新の公式情報をご確認ください。