LLMと社内データを連携するRAGの仕組みと精度向上チューニングの実践ガイド

社内のマニュアルや過去案件をChatGPTに読ませて質問できたら——そのニーズ自体は正しいです。ただし、ChatGPTのAPI（外部サービスを呼び出す仕組み）を使うだけのシステムでは実現できません。自社データに根ざした回答を返させるには「RAG（Retrieval-Augmented Generation）」という仕組みが必要で、それなりの設計が求められます。

RAGとは何か——LLMに「記憶」を与える技術

RAGはユーザーの質問に対してまず社内ドキュメントのデータベースから関連する文章を検索（Retrieval）し、その文章をLLMに渡して回答を生成（Generation）させる仕組みです。LLMは「渡された文章の範囲内で答える」ため、ハルシネーション（AIが事実と異なる内容を作り出すこと）が大幅に減り、参照元の文書を回答に紐付けることができます。

RAGシステムの構成要素

① ドキュメントの取り込みとチャンキング

PDF・Word・Notionページ・社内WikiなどのドキュメントをテキストとしてRAGシステムに取り込みます。長い文書を「チャンク（意味のある断片）」に分割する処理が重要で、通常200〜800トークン（おおよそ数百文字分）程度が目安です。

② ベクトル埋め込みとベクトルDB

分割したチャンクを「埋め込みモデル」（文章の意味を数値の並びに変換するAI）でベクトル（意味を表す数値）に変換し、専用のデータベース（ベクトルDB。Pinecone・Weaviate・pgvector等）に保存します。ユーザーの質問もベクトル化され、意味的に近いチャンクを高速検索します。

③ LLMによる回答生成とプロンプト設計

検索で得られた上位チャンクとユーザーの質問をまとめてLLMに渡し、回答を生成させます。「以下の文書のみを根拠に回答してください」という制約プロンプトがハルシネーション抑制の鍵です。

RAG精度向上のチューニング手法

チャンキング戦略の最適化

見出し・段落・センテンスの境界を考慮した「意味的チャンキング」に変更するだけで、検索ヒット率が大きく改善するケースがあります。前後のチャンクを少しオーバーラップさせる「スライディングウィンドウ」手法も文脈の途切れを防ぐ有効な手段です。

埋め込みモデルの選定

日本語ドキュメントを扱う場合は、日本語を含む多言語に対応した埋め込みモデル（multilingual-e5-large等）の選定が精度を左右します。英語特化モデルで日本語を処理すると、検索精度が著しく低下します。モデルの選定はAIモデル共有サイト「Hugging Face」の日本語性能ランキング（JMTEB等）が参考になります。スコアと自社ドキュメントの特性を照らし合わせて選定することをお勧めします。

再ランキング（Re-ranking）の導入

ベクトル検索で取得した上位数十件を、より精度の高い「再ランカー」（検索結果を関連度順に並べ直すAI）で並び替えてからLLMに渡す手法が効果的です。Cross-Encoderモデル（質問と文章の関連度を精密に測り直すAI。Cohere Rerank・BGE-Reranker等）を使うことで精度向上率20〜40%に達するケースもあります。

ローカルLLM導入のメリットとデメリット

• メリット：機密データが社外に出ない・API従量課金なし・カスタマイズ性が高い・応答が速い（低レイテンシ）
• デメリット：AI計算用の専用機材（GPUサーバー）の調達費用が高額（数百万〜数千万円）・最先端の大規模AI（フロンティアモデル）より複雑なタスクで精度が劣る・運用負荷が高い

まずクラウドLLM（OpenAI・Claude等）でPoC（概念実証＝小さく試して効果を確かめる工程）を始め、本番移行時にローカルLLMへ切り替えるハイブリッド戦略が費用対効果の高いアプローチです。

企業でRAGを導入する際の費用感

• PoC（特定ドキュメント1カテゴリ・クラウドLLM）：20〜50万円 / 2〜4週間
• 本番RAGシステム構築（全社マニュアル・クラウドLLM）：50〜150万円 / 1〜2ヶ月
• ローカルLLM環境構築込み（GPUサーバー調達含む）：300〜800万円 / 3〜6ヶ月
• 保守・モデルアップデート対応：月5〜15万円

費用感の目安として、従業員80名規模の製造業がRAGを導入する場合を想定してみます。社内に設計マニュアル・クレーム対応記録・仕入れ先の仕様書が約1,200ファイルあり、担当者が必要な情報を探すのに平均30〜40分かかっているとします。PoC（設計マニュアルのみ：25万円・3週間）で検索時間を平均5分以下に短縮できれば、その数字を根拠に全社展開（100万円・6週間）の稟議が通りやすくなります。「まずPoCで社内を説得できる数字を出す」という進め方が、RAGのような新技術の導入では特に有効です。

発注担当者・経営者向けまとめ：RAG導入で何が変わるか

技術的な詳細はエンジニアに任せるとして、意思決定者が押さえるべき点は3つです。①まずPoCから始める（20〜50万円・2〜4週間で効果を検証できる）、②全社一斉導入ではなく「最も時間がかかっている検索業務」から1つ絞って着手する、③クラウドLLMかローカルLLMかは機密データの扱い方で決まる。この3点を押さえれば、ROIの見えない大規模投資を避けながらAI活用を前進させられます。

ここまで読んで「自社だけで進めるのは難しそう」と感じたなら、その感覚は正確です。RAGは作って終わりではなく、チャンキング・埋め込みモデルの選定・再ランキング・更新パイプラインの設計、そして導入後のチューニングで精度が決まります。awaiは、PoCの設計から本番構築・運用改善までを一気通貫で支援します。