RAG のチャンキング手法を比較 — チャンクサイズとオーバーラップの決め方

概要大規模言語モデル（LLM）を活用した検索拡張生成（RAG）システムにおいて、テキストのチャンキング（分割）は検索精度と生成品質を左右する重要な前処理工程である。本稿では、主要なチャンキング手法の特徴を整理・比較するとともに、チャンクサイズの選定がシステム性能に及ぼす影響について知見を報告する。

先に結論

チャンキングとは？: 長い文書を、索引に入れる前に意味のまとまりごとに分割することです。検索が文書まるごとではなく該当箇所だけを返せるようになります。分割の質が検索の精度と再現率の上限を決め、そのまま回答品質の上限になります。（1章）
チャンクとトークンの違いは？: トークンは長さの単位、チャンクは分割された文書の断片です。トークンはモデルがテキストを数える最小単位で、チャンクは「256〜512トークン」のようにトークン数で大きさを指定される検索の1単位です。つまりトークンは物差し、チャンクは物差しで測って切り出したもの、という関係になります。
意味の変化を検出して分割する手法はどれ？: セマンティックチャンキングです。隣接する文や段落を埋め込みベクトルに変換してコサイン類似度を計算し、類似度が閾値を下回った箇所を境界にします。トークン数でも書式でもなく意味で切れる代わりに、埋め込み計算のぶん固定長より大幅に遅くなります。（2.3節）
オーバーラップは何のためにある？: チャンク境界をまたぐ文脈を保つためです。境界付近のテキストを隣り合う両方のチャンクに含めるので、話の途中で切れた箇所も欠けずに拾えます。逆に、オーバーラップは保存容量を減らしませんし冗長性も除きません。意図的に冗長性を足す仕組みなので索引は大きくなります。設定はチャンクサイズの10〜20%が目安です。（2.2節）
再帰的チャンキングは固定長と比べて何が良い？: 単語や段落をできるだけ分断しない点です。再帰的チャンキングは区切り文字を優先順位つきで適用し、まず段落、次に文、最後に単語の境界へと段階的に細かくします。目標サイズを超えるときだけ細かい単位に落ちるので、自然な構造が保たれます。固定長はトークン数に達した地点で機械的に切るため、文の途中でも分断されます。（2.4節）
チャンクサイズはどれくらいから始める？: 256〜512トークンが、検証した複数ドメインで検索精度と生成品質のバランスが最も良い範囲でした。まず512前後を基準に置いて調整します。用語定義や条文引用が多い技術文書・法務文書では512〜768が有効でした。オーバーラップは10〜15%、20%を超えると冗長性で性能が落ちました。（3.2節）

各回答は以下の本文の要約です。比較の評価軸と、数値の前提となる実験条件は本文に記載しています。

1. はじめに

近年、LLMの実用化に伴い、外部知識を検索・参照しながら回答を生成するRAG（Retrieval-Augmented Generation）アーキテクチャが広く採用されている。RAGの性能はリトリーバル（検索）の精度に大きく依存し、その精度はインデックスに格納されるテキストチャンクの品質によって決定される。

チャンキングとは、長大な文書を意味的に適切な単位に分割する処理を指す。この分割の巧拙は、検索時の適合率（Precision）と再現率（Recall）に直接影響し、ひいてはLLMが生成する回答の正確性・網羅性を左右する。にもかかわらず、チャンキング手法の体系的な比較研究は十分とは言えず、実務においては経験則に頼った手法選定が行われることが多い。

本稿では、代表的なチャンキング手法を概観し、それぞれの特性を比較するとともに、チャンクサイズの最適化に関する知見を整理する。なお、本稿で述べる知見は筆者の研究開発活動を通じて得られたものであり、具体的な実装の詳細については割愛する。

2. チャンキング手法の概要と比較

テキストチャンキングの手法は、分割の基準に応じて大きく以下の5つに分類できる。各手法の概要と特徴を以下に述べる。

2.1 固定長チャンキング（Fixed-size Chunking）

最も基本的な手法であり、テキストをあらかじめ定めた文字数またはトークン数で機械的に分割する。実装が極めて単純であり、処理速度が速いという利点がある。一方で、文や段落の途中で分割が発生するため、意味的な一貫性が損なわれやすいという根本的な課題を有する。

2.2 オーバーラップ付き固定長チャンキング（Fixed-size with Overlap）

固定長チャンキングの改良として、隣接するチャンク間に重複領域（オーバーラップ）を設ける手法である。オーバーラップにより、チャンク境界付近の文脈情報が保持されるため、固定長チャンキングに比べて検索精度が向上する傾向がある。ただし、オーバーラップ部分のインデックスサイズが増大するというトレードオフが存在する。典型的には、チャンクサイズの10〜20%程度のオーバーラップが設定される。

2.3 セマンティックチャンキング（Semantic Chunking）

埋め込みモデル（Embedding Model）を利用して文や段落の意味的類似度を計算し、意味の境界で分割を行う手法である。隣接するテキスト断片の埋め込みベクトル間のコサイン類似度を計算し、類似度が閾値を下回る箇所をチャンク境界とする。意味的に一貫性のあるチャンクが生成されるため、検索精度の向上が期待できる。しかし、埋め込み計算のコストが加わるため、処理時間が固定長手法と比較して大幅に増加する。

2.4 再帰的チャンキング（Recursive Chunking）

複数の区切り文字を優先順位付きで適用し、段階的にテキストを分割する手法である。まず段落区切り（改行2つ）で分割を試み、結果のチャンクが目標サイズを超過する場合は、次に文区切り（句点）、さらに必要であれば単語区切りへと、より細かい粒度で再帰的に分割を行う。文書の自然な構造を尊重しつつ、チャンクサイズを一定範囲に収めることができるバランスの良い手法である。

2.5 文書構造ベースチャンキング（Document Structure-based Chunking）

Markdown・HTML・PDFなどの構造化文書において、見出し・セクション・リストといった文書構造の要素を分割の基準とする手法である。文書の論理構造に沿った分割が行われるため、各チャンクの意味的完結性が高い。ただし、入力文書が明確な構造を持たない場合（プレーンテキスト等）には適用が困難であり、文書形式に依存するという制約がある。

2.6 手法の比較

上述の各手法について、主要な評価軸に基づく比較を表1に示す。

表1: チャンキング手法の比較
手法	意味的一貫性	処理速度	実装の容易さ	サイズの均一性	文書形式への依存
固定長	低	非常に高速	容易	高	なし
オーバーラップ付き固定長	やや低	高速	容易	高	なし
セマンティック	高	低速	中程度	低	なし
再帰的	中〜高	高速	中程度	中	低
文書構造ベース	高	高速	中〜高	低	高

比較表から明らかなように、各手法はいずれもトレードオフを内包しており、万能な手法は存在しない。意味的一貫性を重視するならばセマンティックチャンキングが有利であるが、処理コストの増大は避けられない。処理速度と意味的品質のバランスを求めるならば、再帰的チャンキングが実用的な選択肢となる。

3. 最適なチャンクサイズに関する考察

チャンキング手法の選定と並んで重要なパラメータがチャンクサイズである。チャンクサイズは検索精度と生成品質の双方に影響を与えるため、慎重な検討が求められる。

3.1 チャンクサイズが及ぼす影響

チャンクサイズの設定は、以下の2つの相反する要求のバランスを取る問題として捉えることができる。

小さいチャンク（〜256トークン）

検索の粒度が細かくなり、適合率（Precision）が向上する傾向
特定の事実や数値の抽出に適する
文脈情報が不足し、LLMが的確な回答を生成しにくくなるリスク
チャンク数の増大によるインデックスサイズ・検索コストの増加

大きいチャンク（1024トークン〜）

豊富な文脈情報がLLMに提供され、生成品質が安定する傾向
チャンク数が少なくなり、インデックスが効率的
無関係な情報が混入しやすく、再現率（Recall）が低下するリスク
LLMのコンテキストウィンドウを圧迫する

3.2 実験的知見

筆者の研究開発において、複数のドメインのテキストデータに対して種々のチャンクサイズでRAGシステムの性能評価を実施した。以下に得られた主要な知見を述べる。

汎用的な推奨レンジとしての256〜512トークン: 多くのユースケースにおいて、256〜512トークンの範囲が検索精度と生成品質のバランスに優れていた。この範囲は、一般的な段落の長さに近く、意味的な完結性を保ちやすい。
ドメイン特性による最適値の変動: 技術文書・法律文書・一般的な記事など、文書のドメインによって最適なチャンクサイズは異なることが確認された。特に、専門用語の定義や条文の引用が頻出するドメインでは、やや大きめのチャンクサイズ（512〜768トークン）が有効であった。
質問の粒度との相関: ファクトイド型の質問（具体的な事実を問う質問）に対しては小さめのチャンクが、要約・説明型の質問に対しては大きめのチャンクがそれぞれ有利であることが観察された。
オーバーラップの効果: チャンクサイズの10〜15%に相当するオーバーラップを設定することで、チャンク境界における情報損失を軽減できることが確認された。ただし、20%を超えるオーバーラップでは冗長性の増大に伴う性能低下が見られた。

注記: 上記の知見は筆者の実験環境における結果であり、使用する埋め込みモデル、LLM、評価データセット等によって最適値は変動しうる。実運用においては、対象ドメインのデータを用いたベンチマーク評価を実施することを推奨する。

3.3 チャンクサイズ選定のフレームワーク

ベースラインの設定: まず512トークン前後をベースラインとして設定する。
ユースケースの分析: 想定される質問の粒度と文書の特性を分析し、必要に応じてサイズを調整する。
オーバーラップの付与: チャンクサイズの10〜15%のオーバーラップを設定する。
評価と反復: 代表的なクエリセットを用いて検索精度・生成品質を評価し、パラメータを微調整する。

4. 考察とまとめ

4.1 手法選定のガイドライン

チャンキング手法の選定にあたっては、システムの要件と制約に応じて適切な手法を選択することが肝要である。

プロトタイプ・検証段階

再帰的チャンキングを推奨。実装コストが低く、十分な品質が得られる。オーバーラップ付き固定長も代替となる。

高精度が求められる本番環境

セマンティックチャンキング、または文書構造ベースチャンキングとの組み合わせを推奨。処理コストは増大するが、検索品質の向上が見込まれる。

構造化文書が中心のシステム

文書構造ベースチャンキングを第一選択とし、構造が不明確な文書に対しては再帰的チャンキングでフォールバックする。

大量データの高速処理

オーバーラップ付き固定長チャンキングを推奨。処理速度とインデックス品質のバランスに優れる。

4.2 今後の展望

適応的チャンキング: 文書の内容や構造に応じて動的にチャンクサイズや分割手法を切り替えるアプローチ。
階層的チャンキング: 粗い粒度と細かい粒度の複数レベルでチャンクを生成し、検索時に適切な粒度を選択する手法。
マルチモーダル対応: テキストだけでなく、表・図・数式などの要素を含む文書に対するチャンキング手法の拡張。
LLMを活用したチャンキング: LLM自体を用いて最適なチャンク境界を推定する手法。精度は高いがコストとのトレードオフが課題となる。

4.3 結語

本稿では、テキストチャンキングの主要な手法を概観し、その特性を比較するとともに、チャンクサイズの選定に関する知見を報告した。チャンキングはRAGシステムにおける「縁の下の力持ち」であり、その最適化はシステム全体の品質向上に直結する。本稿が、実務におけるチャンキング戦略の策定に際して、一つの参考となれば幸いである。

RAGシステムのチャンキング最適化・検索精度向上をご相談ください。

無料相談する

テキストチャンキング技術の比較研究