RAG(ラグ)とは、検索で取ってきた資料を、質問と一緒にLLMに渡して答えさせる仕組みです。
LLMが覚えていない社内の決まりや新しい情報でも、関係する資料が見つかれば答えられます。
裏を返すと、検索が外れたら答えも外れます。
「RAG」という言葉は聞くのに、説明を読むと「ベクトル」「埋め込み」「チャンク」と知らない単語が三段重ねで出てきて、結局なにをしているのか分からない。そんな状態の人に向けて、読み方と正式名から、仕組みの図、LLMやファインチューニングとの違い、よくある失敗、評価のしかたまでを順に並べました。
途中で、外部APIを呼ばずにPythonの標準ライブラリだけで「検索してプロンプトを組み立てる」ところを動かしています。
この記事でわかること
- RAGの読み方・正式名と、ひとことでの意味
- 取り込み(分割→埋め込み→ベクトルDB)と質問時(検索→差し込み→生成)の流れ
- ファインチューニング・長いコンテキスト・Web検索ツールとの違い
- 分割の大きさ・検索の外れ・古い資料という3つの失敗と、評価のしかた
PARTS LIST /目次
RAGとは?検索した資料を添えてLLMに答えさせる仕組み
RAGは、LLMに質問をそのまま投げる前に、関係しそうな資料を検索で集めて、質問と一緒に渡す仕組みです。LLMは渡された資料を読んだうえで答えを書きます。
たとえるなら、配属されたばかりの新人に質問するとき、関係するマニュアルのページだけコピーして「このページを見ながら答えて」と渡すやり方に近いものです。新人は頭がいいけれど、その会社の決まりは知らない。だから資料を添える。LLMとRAGの関係も、ほぼこの形をしています。
RAGの読み方は「ラグ」、正式名はRetrieval-Augmented Generation
RAGの読み方は「ラグ」です。カーペットのラグと同じ音なので、検索すると敷物の話が混ざってくるのが地味に面倒なところです。
正式名は Retrieval-Augmented Generation。単語を分けると次のとおりです。
- Retrieval:検索して取ってくること
- Augmented:補強された、上乗せされた
- Generation:(文章の)生成
つなげると「検索で補強した生成」。日本語では「検索拡張生成」と訳されます。名前の中に「検索してから書く」という順番がそのまま入っているので、正式名を覚えると中身も一緒に覚えられます。
2020年のLewisらの論文で名前が付いた
RAGという名前は、Patrick Lewis ら12人の論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」で付きました。arXivへの最初の投稿は2020年5月22日で、NeurIPS 2020に採択されています。
論文の要旨では、文章を書く事前学習済みのモデルを「parametric memory」(重みに入った記憶)と呼んでいます。一方、Wikipediaをベクトルにした索引は「non-parametric memory」(外に置いた記憶)。この2つを組み合わせる、というのが論文の提案です。
いまの言葉に直すと、「LLMが覚えていること」と「外に置いた資料」を組み合わせる話です。2020年の論文は、検索の部分と文章を書くモデルを一緒に調整する研究でした。いま「RAG」と呼ばれるものの多くは、学習済みのLLMには手を入れず、検索とプロンプトの組み立てだけを外側で作る形です。
RAGで答えられるようになる質問の例
RAGが役に立つのは、LLMの学習データに入っていない情報を聞きたいときです。具体的には次のような質問です。
- 社内の在宅勤務規程では、申請はいつまで?
- このプロダクトの管理画面で、権限を変える手順は?
- 先月改定された料金表で、上位プランはいくら?
- 過去の障害報告書に、同じエラーの記録はある?
どれも「答えがどこかの文書に書いてある」質問です。LLMにそのまま聞くと、知らないのにそれらしい答えを作ってしまうことがあります。RAGは、その文書を探して渡す役を受け持ちます。
RAGとLLMの違いは?「覚えている知識」と「その場で渡す資料」
RAGとLLMは、同じ並びで比べるものではありません。LLMは文章を書く本体で、RAGはLLMの前に検索を足す使い方です。RAGの中にLLMが入っている、という関係です。
違いを一文で言うと、LLMは学習のときに覚えた知識だけで答え、RAGは質問のたびに資料を探して渡したうえで答えさせます。LLMそのものの仕組み(次の単語を確率で選び続けること)は、LLMの仕組みの記事で図とデモつきで書いています。
LLMだけだと答えにくい3種類の質問
LLMだけで答えにくい質問は、大きく3つに分かれます。
- 学習の後に起きたこと:モデルの学習データには締め切りがあり、その後の出来事は知りません
- 公開されていない情報:社内規程、顧客とのやり取り、個人のメモなど、学習データに入りようがないもの
- 細かくて正確さが要るもの:型番ごとの仕様、条文の文言など、覚えていても細部を取り違えやすいもの
3つめが厄介です。LLMは「知らない」と言わずに、それらしい数字を書いてしまうことがあります。資料を渡しておけば、写すべき数字が目の前にある状態で書けるので、取り違えが減ります。
RAGはLLMを置き換えるものではない
RAGを使っても、文章を書くのはLLMです。検索の部分は答えを書かず、資料を探して並べるだけ。LLMの賢さはそのまま必要です。
なので「RAGとLLMのどちらを使うか」という選び方にはなりません。決めるのは、LLMに渡す材料を検索で用意するかどうかです。
この見方に立つと、RAGは「LLMに何を見せるか」を設計する話の一部になります。システムプロンプト、会話履歴、ツールの結果と並んで、検索した資料もLLMに見せる材料のひとつ。全体の考え方はコンテキストエンジニアリングの記事にまとめています。
ハルシネーションは減るが、ゼロにはならない
RAGを入れると、もっともらしい嘘(ハルシネーション)は減らせます。ただ、なくなるわけではありません。
RAGでも間違える3つの経路
・検索が見当違いの資料を取ってくる
・正しい資料を渡したのに、LLMが読み違える・資料にないことを足す
・資料そのものが古い、または間違っている
この3つは、後半の「よくある失敗」と「評価のしかた」でそれぞれ扱います。RAGの調子が悪いとき、どの経路で間違えたのかを切り分けられるかどうかで、直す手間が大きく変わります。
RAGの仕組みを図解|取り込みと質問時の2段階
RAGの処理は、前もってやっておく「取り込み」と、質問が来たときに毎回やる「質問時」の2段階に分かれます。取り込みは資料を検索しやすい形にして保存する作業、質問時はそこから探して渡す作業です。
全体を図にすると次のようになります。①〜③が取り込み、④〜⑥が質問時です。
flowchart TD
A["社内資料・マニュアル"] --> B["① 分割<br>小さなかたまりに切る"]
B --> C["② 埋め込み<br>かたまりを数値の並びに"]
C --> D[("③ ベクトルDB<br>に保存")]
Q["ユーザーの質問"] --> E["質問も<br>数値の並びに"]
D --> F["④ 検索<br>近いかたまりを上から"]
E --> F
F --> G["⑤ プロンプトに差し込み<br>資料+質問+指示"]
G --> H["⑥ LLMが生成"]
H --> I["回答<br>使った資料の番号つき"]
図の左の列は、資料が変わったときだけ動かせば済みます。右の列は質問のたびに動きます。LLMが登場するのは最後の⑥だけで、①〜⑤はふつうのプログラムで書ける部分です。
取り込み:分割→埋め込み→ベクトルDB
取り込みは、資料を「あとで検索できる形」にして保存する段階です。
step
1分割する(チャンク化)
資料を、数文ずつの小さなかたまりに切ります。このかたまりをチャンクと呼びます。1ファイルを丸ごと1件にすると、検索で当たっても関係ない部分まで大量にLLMへ渡ることになるためです。
step
2埋め込む(ベクトル化)
埋め込みモデルという専用のモデルで、チャンクを数値の並び(ベクトル)に変えます。意味が近い文ほど、近い数値の並びになるように作られたモデルです。
step
3ベクトルDBに保存する
チャンクの本文と、そのベクトルをセットで保存します。ベクトルDBは「この数値の並びに近いものを上から何件」という探し方が速くできるデータベースです。
Anthropicは2024年9月に、RAGの検索精度を上げる方法の解説「Contextual Retrieval」を公開しています。そこでも前処理は、チャンクに分ける、埋め込みモデルでベクトルにする、意味の近さで探せるベクトルDBに入れる、の3つとして説明されています。
質問時:検索→プロンプトに差し込み→生成
質問が来たら、取り込んだ資料から探して、LLMに渡します。
- 検索:質問文も同じ埋め込みモデルでベクトルにし、近いチャンクを上から数件(3〜5件など)選ぶ
- 差し込み:選んだチャンクを、質問と指示文と一緒に1つのプロンプトにまとめる
- 生成:そのプロンプトをLLMに渡し、資料をもとに答えを書かせる
2の「差し込み」は、地味ですが手を抜くと効いてきます。指示文に「資料にないことは資料にないと答える」「使った資料の番号を書く」と入れるかどうかで、答えの確かめやすさが変わります。このあと動かすPythonのコードでも、この指示文を入れています。
埋め込み(ベクトル)は「意味の近さ」を測るための数値
埋め込みは、文章を数値の並びに変えることです。数値にすると、2つの文章がどれくらい近いかを計算で出せるようになります。
たとえば「在宅勤務の申請期限」と「テレワークの申し込みはいつまで」は、使っている言葉がほとんど違います。それでも埋め込みモデルがよくできていれば、2つのベクトルは近くなります。言葉の一致ではなく、意味の近さで探せるのが埋め込みを使う理由です。
LLMの中でも、単語は数値の並びに置き換えられて処理されています。考え方は同じで、RAGでは数値の並びを「探す」ために使っています。
キーワード検索とベクトル検索は組み合わせて使う
検索の方法は、ベクトル検索だけではありません。昔からあるキーワード検索も、RAGでよく使われます。
BM25は、キーワード検索の採点方法のひとつです。先ほどのAnthropicの解説でも、語の一致で正確な単語やフレーズを見つける方法として紹介されています。
同じ解説では、チャンクに前後の文脈を書き足したうえでベクトル検索とBM25を組み合わせると、上位20件で正解を取りこぼす割合が5.7%から2.9%に下がったと報告されています。片方だけで足りるとは限らない、と覚えておくと設計で迷いにくくなります。
Pythonで「検索してプロンプトを組み立てる」部分を動かす
仕組みを読んだだけだと、①〜⑤がどれくらいの手間なのか想像しにくいので、小さく動かしました。外部APIは呼ばず、Pythonの標準ライブラリだけで書いています。LLMの呼び出しはしません。上位の資料を選んで、LLMに渡すプロンプトの文字列を出すところで止めています。
本物のRAGと違うのは、埋め込みモデルの代わりにTF-IDF(言葉の出てくる回数と珍しさで重みを付ける昔ながらの方法)を使っている点です。日本語は単語の区切りがないため、2文字ずつのかたまりを単語の代わりにしました。意味の近さはとれませんが、「分割→数値にする→近いものを選ぶ→差し込む」という流れはそのまま再現できます。
用意した資料とコードの全体
資料は、架空の会社の社内文書を4つ用意しました。在宅勤務規程の新版と旧版、経費精算の手順、休暇の取り方です。旧版を混ぜたのはわざとで、理由は実行結果のところで出てきます。
動作確認した環境は Python 3.11.14(macOS)です。標準ライブラリだけなので、追加のインストールは要りません。
"""標準ライブラリだけで RAG の「検索してプロンプトを組み立てる」部分を再現する小さな例。
LLM は呼ばない。上位の資料を選び、LLM に渡すプロンプト文字列を出力するところまで。
日本語は単語の区切りがないため、文字の2文字ずつ(バイグラム)を単語の代わりにする。
"""
import argparse
import math
import re
from collections import Counter
# 架空の会社の社内資料(例として用意したもの)
DOCUMENTS = [
{
"id": "rule-2026",
"title": "在宅勤務規程(2026年4月改定)",
"text": (
"在宅勤務は週3日まで認める。申請は前日の17時までに勤怠システムで行う。"
"自宅以外の場所で働く場合は、事前に上長の許可を得る。"
"在宅勤務の日も、始業と終業の打刻は必須とする。"
),
},
{
"id": "rule-2024",
"title": "在宅勤務規程(2024年版・旧)",
"text": (
"在宅勤務は週2日まで認める。申請は3日前までに紙の申請書で行う。"
"在宅勤務の日の打刻は不要とする。"
),
},
{
"id": "expense",
"title": "経費精算の手順",
"text": (
"経費は発生した月の翌月5日までに精算する。領収書は写真で添付してよい。"
"交通費は経路検索の画面を添付する。1万円を超える備品は事前に申請する。"
),
},
{
"id": "vacation",
"title": "休暇の取り方",
"text": (
"年次有給休暇は半日単位で取得できる。申請は前日までに勤怠システムで行う。"
"連続5日以上の休暇は、2週間前までにチームに共有する。"
),
},
]
def split_into_chunks(text, chunk_size):
"""文章を句点で文に分け、chunk_size 文字を超えないように文をまとめてチャンクにする."""
sentences = [s + "。" for s in text.split("。") if s]
chunks, current = [], ""
for sentence in sentences:
# 足すと上限を超えるなら、いまのチャンクを確定して新しく始める
if current and len(current) + len(sentence) > chunk_size:
chunks.append(current)
current = ""
current += sentence
if current:
chunks.append(current)
return chunks
def tokenize(text):
"""記号を除いた文字列を、2文字ずつのかたまり(バイグラム)に分ける."""
cleaned = re.sub(r"[\s、。・()()「」??!!]", "", text.lower())
return [cleaned[i : i + 2] for i in range(len(cleaned) - 1)]
def build_index(chunk_size):
"""資料を分割して、チャンクごとの TF-IDF ベクトルを作る(取り込みの段階)."""
chunks = []
for doc in DOCUMENTS:
for no, body in enumerate(split_into_chunks(doc["text"], chunk_size), start=1):
chunks.append({"id": f"{doc['id']}#{no}", "title": doc["title"], "body": body})
# 各バイグラムが何個のチャンクに出てくるか(珍しい語ほど重みを大きくするため)
doc_freq = Counter()
for chunk in chunks:
doc_freq.update(set(tokenize(chunk["body"])))
total = len(chunks)
idf = {term: math.log((1 + total) / (1 + df)) + 1 for term, df in doc_freq.items()}
for chunk in chunks:
chunk["vec"] = to_vector(tokenize(chunk["body"]), idf)
return chunks, idf
def to_vector(tokens, idf):
"""出現回数 × IDF の辞書を作り、長さ1に正規化する."""
counts = Counter(tokens)
vec = {t: c * idf.get(t, 0.0) for t, c in counts.items()}
norm = math.sqrt(sum(v * v for v in vec.values())) or 1.0
return {t: v / norm for t, v in vec.items()}
def search(query, chunks, idf, top_k):
"""質問をベクトルにして、コサイン類似度が高い順に top_k 件を返す(質問時の段階)."""
qvec = to_vector(tokenize(query), idf)
scored = []
for chunk in chunks:
score = sum(w * chunk["vec"].get(t, 0.0) for t, w in qvec.items())
scored.append((score, chunk))
scored.sort(key=lambda x: x[0], reverse=True)
return scored[:top_k]
def build_prompt(query, hits):
"""検索で選んだチャンクを、質問と一緒に LLM へ渡すプロンプトに差し込む."""
context = "\n".join(f"[{c['id']}]({c['title']}){c['body']}" for _, c in hits)
return (
"次の資料だけを根拠に、質問に答えてください。\n"
"資料に書かれていないことは「資料にありません」と答えてください。\n"
"答えの最後に、使った資料の番号を [ ] で書いてください。\n"
"同じ内容で食い違う資料があれば、日付の新しいほうを優先してください。\n\n"
f"# 資料\n{context}\n\n# 質問\n{query}"
)
def main():
"""コマンドラインから質問を受け取り、検索結果とプロンプトを表示する."""
parser = argparse.ArgumentParser(description="TF-IDF で資料を選び、LLM 用のプロンプトを組み立てる")
parser.add_argument("query", help="質問文")
parser.add_argument("--chunk-size", type=int, default=60, help="1チャンクの最大文字数")
parser.add_argument("--top-k", type=int, default=3, help="プロンプトに入れるチャンク数")
args = parser.parse_args()
chunks, idf = build_index(args.chunk_size)
print(f"チャンク数: {len(chunks)}(chunk_size={args.chunk_size})")
hits = search(args.query, chunks, idf, args.top_k)
print("検索結果:")
for score, chunk in hits:
print(f" {score:.3f} [{chunk['id']}] {chunk['body']}")
print("\n----- LLM に渡すプロンプト -----")
print(build_prompt(args.query, hits))
if __name__ == "__main__":
main()
関数と、図の①〜⑤の対応は次のとおりです。
本番のRAGでは、②が埋め込みモデルのAPI、③がベクトルDBに置き換わります。それでも関数の並びはこのまま残ります。
実行結果:選ばれた資料とLLMに渡す文字列
「在宅勤務の申請はいつまでに出せばいい?」と質問して実行した結果です。
python mini_rag.py "在宅勤務の申請はいつまでに出せばいい?"
チャンク数: 7(chunk_size=60)
検索結果:
0.541 [rule-2024#1] 在宅勤務は週2日まで認める。申請は3日前までに紙の申請書で行う。在宅勤務の日の打刻は不要とする。
0.324 [rule-2026#1] 在宅勤務は週3日まで認める。申請は前日の17時までに勤怠システムで行う。
0.163 [rule-2026#2] 自宅以外の場所で働く場合は、事前に上長の許可を得る。在宅勤務の日も、始業と終業の打刻は必須とする。
----- LLM に渡すプロンプト -----
次の資料だけを根拠に、質問に答えてください。
資料に書かれていないことは「資料にありません」と答えてください。
答えの最後に、使った資料の番号を [ ] で書いてください。
同じ内容で食い違う資料があれば、日付の新しいほうを優先してください。
# 資料
[rule-2024#1](在宅勤務規程(2024年版・旧))在宅勤務は週2日まで認める。申請は3日前までに紙の申請書で行う。在宅勤務の日の打刻は不要とする。
[rule-2026#1](在宅勤務規程(2026年4月改定))在宅勤務は週3日まで認める。申請は前日の17時までに勤怠システムで行う。
[rule-2026#2](在宅勤務規程(2026年4月改定))自宅以外の場所で働く場合は、事前に上長の許可を得る。在宅勤務の日も、始業と終業の打刻は必須とする。
# 質問
在宅勤務の申請はいつまでに出せばいい?
下の「LLMに渡すプロンプト」が、RAGがLLMに実際に見せる中身です。この文字列をチャットに貼って送れば、LLMは資料をもとに答えを書きます。期待する答えは「前日の17時までに勤怠システムで申請します [rule-2026#1]」です(このコードではLLMを呼んでいないので、実際の答えは確かめていません)。
7件のチャンクのうち3件しか渡していない点も見てください。経費や休暇の資料は、質問と関係が薄いので入っていません。資料が数百、数千と増えても、LLMに渡すのは毎回この数件だけです。
動かしてわかった、古い資料が1位に来る問題
結果をよく見ると、1位は旧版の規程(rule-2024#1)でした。正しい答えが書かれた新版(rule-2026#1)は2位です。
理由は単純で、旧版のチャンクには「在宅勤務」が2回出てくるからです。TF-IDFは言葉の重なりで採点するので、どちらが新しいかは見ていません。埋め込みモデルに替えても、意味の近さで採点するのは同じなので、日付は考慮されません。
このコードでは、指示文に「日付の新しいほうを優先」と入れ、タイトルに日付を付けて渡すことでLLM側に判断させています。ただ、指示文に頼るのは保険です。根本的には、旧版を取り込み対象から外すか、「旧版」の印を付けて検索から除くほうが確実です。古い資料の扱いは、後の「よくある失敗」でもう一度取り上げます。
資料は4つ、チャンクは7件しかない状態で、もう旧版が1位に来ました。資料が数千件に増えると、こうしたずれは結果を1件ずつ見ないかぎり気づけません。
ファインチューニング・長いコンテキスト・Web検索との違い
LLMに知識を足す方法は、RAGだけではありません。よく比べられるのは、ファインチューニング、長いコンテキストに資料を全部入れる方法、Web検索ツールの3つです。違いは「知識をどこに入れるか」と「資料が変わったときに何をし直すか」で見ると整理しやすくなります。
4つの方法を比較表で整理
表の4行のうち、ファインチューニング以外の3つは「質問のたびにプロンプトへ資料を入れる」点で共通しています。違うのは、何をどれだけ入れるかです。
ファインチューニングとの違いは「知識を入れる場所」
ファインチューニングは、追加のデータでモデルを学習し直して、重みそのものを変える方法です。RAGはモデルに手を入れず、プロンプトに資料を足すだけです。
RAG
モデルはそのまま。質問のたびに資料を探して渡す。資料の更新は差し替えるだけで、どの資料を使ったかを答えに添えられる。
ファインチューニング
モデルの重みを学習で変える。口調や出力の形式は身につくが、資料を更新するたびに学習し直しになり、答えの根拠も示しにくい。
使い分けの目安は「何を変えたいか」です。答えの中身(事実)を増やしたいならRAG、答え方(書き方・形式)を変えたいならファインチューニングが合います。両方を組み合わせることもできますが、まずRAGで足りるかを試すほうが、費用も手間も小さく済みます。
全部プロンプトに入れればいいのでは?
LLMが一度に読める量(コンテキスト)は年々増えています。それなら、検索などせず資料を全部入れればいいのでは、という疑問は当然出ます。
半分は正しい答えです。前出のAnthropicの解説には、資料全体をそのままプロンプトに入れればよいという目安が書かれています。条件は、資料の量が20万トークン(およそ500ページ分)より少ないこと。資料が少ないうちは、検索の仕組みを作って保守する手間のほうが重くつきます。
残り半分は量の問題です。資料が数千ページになると、全部は入りません。入る量だったとしても、毎回すべてを読ませると、そのぶん料金と待ち時間が質問ごとにかかります。関係ない資料が大量に混ざると、LLMが肝心の箇所を拾いにくくなることもあります。
資料が少ないうちは全部入れる。増えて入らなくなった、または毎回の料金が気になってきたらRAGを検討する。この順番で考えると、最初から大きな仕組みを作らずに済みます。
Web検索ツールもRAGの一種と考えてよい
ChatGPTやClaudeのWeb検索機能、検索APIをLLMにつなぐ仕組みも、流れとしては「検索→差し込み→生成」です。検索する先がネット全体か、自分で用意した資料かの違いだと考えると分かりやすくなります。
2026年7月から、検索APIの Tavily を MCP で Claude Code につないで、ブログ記事の下調べに使っています。会話の記録を数えると、検索の呼び出しはおよそ2,100回。月の上限に当たると、標準のWeb検索に戻すようにグローバルのCLAUDE.mdに書いてあります。
記事の下調べでは、ページ本文を丸ごと会話に入れず、必要な部分を抜き出した結果だけを受け取る決まりにしています。RAGの用語に直すと、検索してから、関係するかたまりだけを差し込んで書かせている。手順を並べ直すと、そのままRAGの形をしています。
違いが出るのは、検索先を自分で決められるかどうかです。Web検索は公開されている情報しか見られません。社内の規程や個人のメモを答えに使いたいなら、自分で資料を取り込む普通のRAGが必要になります。検索APIの具体的な使い方は、Tavilyの記事に書いています。
RAGが向いている場面・向かない場面
ここまでの違いを踏まえて、RAGが合う場面と合わない場面を並べます。
- 社内規程・マニュアル・FAQなど、答えが文書に書いてある質問に答えたい
- 資料がよく更新され、そのたびに学習し直すのは避けたい
- 答えにどの資料を使ったかを示したい(確認・監査のため)
- 資料が多くて、プロンプトに全部は入らない
- 資料が数十ページしかない(全部入れたほうが早い)
- 答えに資料全体の集計が要る(「全部の議事録で決まったことを一覧に」など。数件を拾う検索では足りない)
- 変えたいのが事実ではなく口調・出力の形式(ファインチューニングやプロンプトの工夫が合う)
- そもそも資料が整っていない・古いものが混ざったまま(検索がうまくいっても答えが古くなる)
2つめの「集計」は見落とされがちです。RAGは「関係する数件を拾う」仕組みなので、「全部を見て数える」質問には向きません。そういう質問は、資料をデータとして処理するプログラムを書くほうが確実です。
RAGでよくある失敗3つ|分割・検索・古い資料
RAGの答えが変なとき、LLMを疑う前に見てほしいのが検索までの段階です。図の①〜④のどこかでずれていると、⑥のLLMがどれだけ賢くても正しい答えは出ません。よくある失敗は次の3つです。
分割の大きさが合わない
チャンクを小さくしすぎると、文の意味が前後から切り離されます。さっきのコードで、チャンクの上限を60文字から20文字に下げて同じ質問をしてみました。
python mini_rag.py "在宅勤務の申請はいつまでに出せばいい?" --chunk-size 20 --top-k 3
チャンク数: 14(chunk_size=20)
検索結果:
0.406 [rule-2024#2] 申請は3日前までに紙の申請書で行う。
0.312 [rule-2024#3] 在宅勤務の日の打刻は不要とする。
0.282 [rule-2026#1] 在宅勤務は週3日まで認める。
正解が書かれた新版の「申請は前日の17時までに勤怠システムで行う。」は、上位3件から消えました。1文ずつに切られたことで、この文から「在宅勤務」という言葉が離れてしまったためです。上位に来たのは、旧版の申請の文と、質問と関係の薄い打刻の文でした。
チャンクを小さくすると、関係ない部分がLLMに渡りにくくなる反面、「何の話の文か」が切り離されます。Anthropicの解説でも、「前の四半期から売上が3%伸びた」という1文だけのチャンクでは、どの会社のいつの話か分からなくなる例が挙げられていました。大きさは決め打ちせず、実際の質問を何問か用意して、大きさを変えながら正解のチャンクが上位に入るかを比べるのが確実です。
逆に大きすぎると、関係ない文が大量に混ざってLLMに渡り、料金も増えます。見出し単位で切る、チャンクの頭に資料のタイトルや見出しを付けておく、といった工夫で、小さく切っても文脈が残るようにする方法がよく使われます。
検索で外す(言い換え・略語に弱い)
資料に「在宅勤務」と書いてあるのに、質問が「リモートワーク」だったらどうなるか。キーワードの重なりで探すコードで試しました。
python mini_rag.py "リモートワークの上限は?" --top-k 2
チャンク数: 7(chunk_size=60)
検索結果:
0.000 [rule-2026#1] 在宅勤務は週3日まで認める。申請は前日の17時までに勤怠システムで行う。
0.000 [rule-2026#2] 自宅以外の場所で働く場合は、事前に上長の許可を得る。在宅勤務の日も、始業と終業の打刻は必須とする。
点数はすべて0.000でした。重なる言葉が1つもないので、どのチャンクも同点です。それでも検索は上から2件を返し、プロンプトに差し込んでしまいます。今回たまたま新版の規程が並んだのは、資料リストの先頭にあったからにすぎません。
ここから分かるのは2つです。言い換えに強くしたいなら、意味で探すベクトル検索が要ること。もう1つは、点数に下限を設けて「下限に届かなければ資料なしとして答えさせる」処理が要ることです。点数0の資料を自信満々に渡すのは、関係ないマニュアルのページを新人に渡すのと同じです。
2026年8月に、1ファイルに詰め込んでいたClaude CodeのCLAUDE.mdを分けました。いまはリポジトリの .claude/rules/ に8ファイルあります。そのうち7ファイルには paths の指定を付けて、関係するファイルを触ったときだけ読み込ませています。1ファイルに詰め込んでいたころは反応が鈍く、分けてから精度がよくなりました。
ただ、ブログ記事のファイルはこのリポジトリの外にあるため、記事を直すときにサイトのルールが自動では読み込まれません。CLAUDE.mdに「記事を書く前に、先にそのサイトのルールを読む」と書いて補っています。条件に合ったものだけを渡す仕組みは、条件から外れたものを黙って落とす。RAGの検索と同じ弱点です。
rulesの書き分けとpaths指定は、CLAUDE.mdとrulesの記事にまとめています。
古い資料が混ざる
最初の実行結果で、旧版の規程が1位になったのがこの失敗です。検索は「どれが新しいか」を見ません。旧版と新版が両方とも取り込まれていれば、言葉が多く重なるほうが上に来ます。
対処は、取り込む側でやるのが基本です。
- 改定したら旧版を取り込み対象から外す(または削除する)
- 残す必要があるなら、資料に日付や「旧版」の印を持たせ、検索のときに新しいものだけに絞る
- 指示文で「食い違う場合は日付の新しいほうを優先」と伝える(最後の保険)
厄介なのは、古い資料が混ざっていても、答えの文章は自然に読めてしまうことです。「3日前までに紙の申請書で」という答えは、それだけ見ればもっともらしい。資料の棚卸しを誰がいつやるかを決めておかないと、RAGは古い答えを丁寧に返し続けます。
RAGの評価のしかた|検索と回答を分けて測る
RAGがうまく動いているかは、検索と回答を分けて測ると原因を絞れます。答えが間違っていたとき、検索が外れたのか、正しい資料を渡したのにLLMが読み違えたのかで、直す場所がまったく違うからです。
Context Recall と Faithfulness は、RAGの評価用ライブラリ Ragas の指標の名前です。
検索を測る:正しい資料が上位に入ったか
検索の評価は、LLMを使わなくても始められます。質問と「その答えが書かれている資料」の組を人が決めておき、検索の上位k件に正解の資料が入った割合を数えるだけです。
さっきのコードなら、「在宅勤務の申請はいつまで?」の正解は rule-2026#1 です。上位3件に入っていれば当たり、入っていなければ外れ。質問を20問用意すれば、分割の大きさや検索の方法を変えたときに、当たりの数がどう変わるかを比べられます。
Ragasの Context Recall は、この考え方を「正解の答えに含まれる事実」の単位で測る指標です。取りこぼしを測るものなので、比べる相手として正解の答え(参照)が必ず要ります。
回答を測る:資料に沿っているか(Faithfulness)
回答の評価で見たいのは、LLMが渡した資料に沿って答えているかです。Ragasの Faithfulness は、回答に含まれる主張を1つずつ分け、渡した資料で裏付けられる主張の数を、主張の総数で割って出します。値は0〜1で、1に近いほど資料に忠実です。
たとえば回答に主張が4つあり、資料で裏付けられるのが3つなら0.75。残り1つは、LLMが資料にないことを足した可能性があります。検索は当たっているのにこの値が低いなら、直すのはプロンプトの指示文かLLMの選び方の側です。
小さく始める評価セットの作り方
評価の仕組みを最初から作り込む必要はありません。次の順で始めると、手間をかけずに改善の手応えを確かめられます。
step
1質問を20問ほど書き出す
実際に聞かれそうな質問を集めます。言い換え(「テレワーク」「リモート」)や略語の質問、資料に答えがない質問も数問混ぜておくと、外れ方が見えます。
step
2質問ごとに正解の資料と答えを決める
どの資料のどの部分に答えが書いてあるかと、正しい答えを1行で書きます。答えがない質問は「資料にありません」が正解です。
step
3検索の当たりを数え、外れた質問の回答を読む
まず検索の上位k件に正解の資料が入った数を数えます。そのうえで、外れた質問と、当たったのに答えが間違った質問の回答を人が読みます。分割の大きさや検索の方法を変えたら、同じ20問で数え直します。
評価の結果から直す場所を決める
検索の当たり外れと、回答の正誤を掛け合わせると、直す場所はほぼ4通りに分かれます。
4行めの「外れなのに正しい」は、喜んでいい結果ではありません。LLMが学習で覚えていた一般的な知識で答えただけで、社内の決まりが一般と違えば、そのまま間違えます。答えが合っているかだけを見ていると、この行は見逃します。
検索と回答を分けて記録しておくと、「チャンクを大きくしたら検索の当たりは増えたが、回答の間違いも増えた」といった変化が数字で見えます。勘で設定をいじり続けるより、どこを直せば効くのかがはっきりします。
よくある質問
RAGについて、読み方・LLMとの違い・ファインチューニングとの使い分けなど、よく出る質問をまとめました。どれも本文で扱った内容の要点です。細かい根拠や実行結果は、それぞれの見出しの本文で確かめてください。
Q1. RAGの読み方は?
A1. 「ラグ」と読みます。正式名は Retrieval-Augmented Generation で、日本語では「検索拡張生成」と訳されます。2020年に Patrick Lewis らが発表した論文で名前が付きました。
Q2. RAGとLLMの違いは?
A2. LLMは文章を書く本体で、RAGはLLMの前に検索を足す使い方です。LLMは学習で覚えた知識だけで答え、RAGは質問のたびに関係する資料を探してLLMに渡し、資料を読ませてから答えさせます。
Q3. RAGとファインチューニングはどちらを選べばいい?
A3. 答えの中身(事実)を増やしたいならRAG、答え方(口調・出力の形式)を変えたいならファインチューニングが合います。資料がよく変わるなら、差し替えるだけで済むRAGのほうが手間が小さくなります。
Q4. RAGを使えばハルシネーションはなくなる?
A4. 減らせますが、なくなりはしません。検索が見当違いの資料を取ってくる、LLMが資料を読み違える、資料自体が古いという3つの経路で間違えます。検索と回答を分けて評価すると、どこで間違えたかを絞り込めます。
Q5. ベクトルデータベースは必須?
A5. 必須ではありません。資料が少なければ、キーワード検索や、この記事のように標準ライブラリで書いた検索でも動きます。資料が増えて、意味の近さで速く探したくなったときにベクトルDBを検討すれば十分です。
Q6. RAGとAIエージェントの違いは?
A6. AIエージェントは、LLMが自分で道具を選び、手順を踏んで作業を進める仕組みです。RAGは「検索して資料を渡す」という1つの手順を指します。エージェントが使う道具のひとつとして、RAGの検索が組み込まれることがあります。
Q7. 資料が少ないときもRAGを使うべき?
A7. 資料が少ないなら、全部をプロンプトに入れるほうが簡単です。Anthropicは、資料の量が20万トークン(およそ500ページ分)より少なければ、資料全体をプロンプトに入れればよいという目安を示しています。
RAGとは「検索してから書かせる」仕組み|まとめ
RAGは、検索で取ってきた資料を質問と一緒にLLMに渡して答えさせる仕組みです。読み方は「ラグ」、正式名は Retrieval-Augmented Generation。LLMを置き換えるものではなく、LLMに見せる材料を検索で用意する使い方です。
【要点まとめ】
- 仕組みは「取り込み(分割→埋め込み→ベクトルDB)」と「質問時(検索→差し込み→生成)」の2段階
- 事実を足すならRAG、書き方を変えるならファインチューニング。資料が少なければ全部入れる
- 失敗の多くはLLMより手前(分割の大きさ・検索の外れ・古い資料)で起きる
- 評価は検索と回答を分けて測る。まずは20問の質問と正解から
4つの資料で動かしただけでも、旧版が1位に来て、言い換えの質問は点数0のまま資料が渡りました。RAGの答えがおかしいときに最初に疑うべきなのは、LLMの賢さではなく、その手前で何を渡したかです。
LLMを呼ばなくても、検索が外れる質問・古い資料が上に来る質問がどれかは分かります。外れ方が見えてから、埋め込みモデルやベクトルDBを足しても遅くありません。
続きを追う:X(@Tom_Java_Tech) / RSS
途中経過は、また書きます。

