RAG 00：はじめに ― LLM は何を知らないのか

知らないことを聞かれると、それらしく作ってしまう

知らないことを聞かれた LLM は、「知りません」と言ってくれるとは限りません。多くの場合、それらしい答えを作ってしまいます。

「有給休暇は年20日です」。一般的な会社の話としてはありそうな答えです。でも、あなたの会社の規程を見て言ったわけではありません。根拠はどこにもありません。

このように、LLM が事実ではない内容をもっともらしく話してしまうことを、ハルシネーション（幻覚）と呼びます。

なぜこんなことが起きるのかは、次の第1章で詳しく見ます。先に一言でいうと、LLM は「文章の続きとして、いちばんありそうな言葉を選ぶ」仕組みだからです。「知っているかどうか」を確かめてから話しているわけではありません。

厄介なのは、正しい答えも間違った答えも、同じくらい自信のある口調で出てくることです。読む人は、どちらなのか見分けられません。

LLM が知らないことは3種類ある

LLM が正しく答えられない知識は、大きく3種類に分けられます。

3つ目は見落とされがちです。LLM は大量の文章を読んでいますが、それを本棚のように保存しているわけではありません。読んだ内容は、モデルの中にある何十億個以上もの数字（パラメータ。学習で少しずつ調整される、LLM の「記憶のつまみ」のようなもの）にぼんやりと染み込んでいるだけです。だから、ふんわりした一般論は得意でも、正確な数字や固有名詞は間違えやすいのです。

では、自分の資料で学習させ直せばいいのか

自然な発想は、「それなら、自分の資料で LLM を学習させ直せばいい」です。すでにできあがった LLM に自分の資料を読ませて、中の数字（パラメータ）を調整し直すことを、追加学習（ファインチューニング）と呼びます。

できなくはありません。でも、知識を足す目的には、多くの弱点があります。

追加学習が向いているのは、知識を足すことより、話し方や作業のやり方を身につけさせることです。「毎日変わる社内の資料を答えられるようにしたい」という目的には、ほとんどの場合、RAG のほうが向いています。

RAG は「持ち込み可の試験」

RAG を一言でたとえるなら、「持ち込み可の試験」です。

普通の LLM は、暗記だけで答える試験を受けているようなものです。覚えていないことは、それらしく書くしかありません。RAG では、答える前に資料を開いて、関係するところを探して、そこを読んで答えます。

RAG は Retrieval-Augmented Generation の略で、日本語にすると「検索（Retrieval）で補強した（Augmented）生成（Generation）」です。2020年に発表された研究論文で、この名前が付けられました。

名前は新しそうですが、考え方そのものは、人間が普段やっている「調べてから答える」と同じです。図では、質問と LLM の間に「検索」と「資料庫」が差し込まれました。これが RAG の骨組みです。

RAG の流れ：質問 → 探す → 集める → 読ませる → 答える

RAG の流れを、図の左から順に見ます。

大事なのは、LLM そのものは何も変えていないことです。LLM の「文章を読んで理解し、まとめる力」はそのまま使い、足りない「知識」だけを、その場で資料から補っています。

次の3ページで、2〜4を1つずつ見ます。

① 探す：質問に関係ありそうな資料を、資料庫から探す

最初の段階は検索です。英語では Retrieval（取り出し）と呼びます。

会社の資料庫には、就業規則、経費の手引き、製品マニュアル、議事録…と、何万ページもの文章があるかもしれません。その中から、「休暇規程は？」という質問に効きそうな数か所だけを選び出します。

これが RAG の心臓部です。ここで正しい資料を見つけられなければ、後でどれだけ賢い LLM を使っても、正しい答えは出てきません。この本の中盤（第4〜7章）は、ほとんどこの「探す」の話です。

どうやって探すのか。単純には、質問の言葉が含まれている資料を探す（キーワード検索）方法があります。いまの RAG の主流は、それに加えて、言葉の意味が近い資料を探す方法も使います。文章を数字の並びに変えておき、数字の近さで意味の近さを測るやり方で、埋め込み・ベクトル検索と呼びます（第4・5章）。「休み」と聞かれて「有給休暇」の資料を見つけられるのは、こちらの方法です。

② 集める：見つけた資料を、質問と一緒に並べる

次に、見つけた資料を質問と一緒に並べて、LLM に渡す文章を作ります。

なぜ全部の資料を渡さないのでしょうか。LLM が一度に読める量には限りがあるからです。人が一度に机に広げられる資料の量に限りがあるのと似ています。この量をコンテキスト窓と呼びます（第1章）。最近は一度にかなりの量を読めるようになりましたが、それでも会社の資料全部は入りません。入ったとしても、読ませる量が多いほどお金と時間がかかり、しかも大事なところを見落としやすくなります（第8章）。

そこで、資料はあらかじめ、数百文字〜千文字くらいの小さな塊（チャンク） に切っておきます（第3章）。検索で選んだ数個のチャンクだけを渡すのです。

図の真ん中の「集めた資料」に並んでいる3つの札が、そのチャンクです。

③ 読ませて答えさせる：「この資料だけを根拠に答えて」

最後に、LLM に次のようなお願いをします。

次の資料だけを根拠に、質問に答えてください。
資料に書かれていないことは「資料には書かれていません」と答えてください。
答えには、使った資料の番号を [1] のように付けてください。

[1] 休暇規程 第3条 …
[2] 有給休暇の日数表 …
[3] 申請の手順 …

質問：休暇規程を教えて

LLM は資料を読み、質問に合わせてまとめ直して答えます。「入社6か月で10日、以後勤続に応じて最大20日です [2]」のように、根拠の番号を添えて答えることもできます。

根拠が付いていれば、読む人は元の資料を開いて確かめられます。これは、ハルシネーションの対策としても、利用者の信頼のためにも、とても大事です。このように LLM に渡す指示や文章のことをプロンプトと呼びます。プロンプトの書き方の工夫は、第8章で詳しく見ます。

作るのは簡単。うまく動かすのが難しい

ここまでの流れだけなら、実は数十行のコードで作れます（第2章で実際に書きます）。部品になるライブラリも充実しているので、「PDF を読み込ませて質問できるチャットを作る」だけなら、1日もかかりません。

ところが、実際に社内で使い始めると、次々に問題が出てきます。

「デモでは動くのに、本番ではうまくいかない」。これが、RAG で最もよく聞く悩みです。この本では、それぞれの失敗がなぜ起きるのか、どう対処するのかを、1章ずつ見ていきます。

この本の地図

この本は、次の順に進みます。

表の中の見慣れない言葉（GraphRAG、エージェント型など）は、今は覚えなくてかまいません。それぞれの章で、はじめから説明します。

前半で「いちばん小さな RAG」を作り、中盤でその部品を1つずつ強くし、後半で現在の形と、実務での難しさに向き合う、という流れです。

どの章も単独で読めるように書いていますが、初めての人は順に読むのがおすすめです。