テキストチャンキング技術の比較研究

1. はじめに

近年、LLMの実用化に伴い、外部知識を検索・参照しながら回答を生成するRAG（Retrieval-Augmented Generation）アーキテクチャが広く採用されている。RAGの性能はリトリーバル（検索）の精度に大きく依存し、その精度はインデックスに格納されるテキストチャンクの品質によって決定される。

チャンキングとは、長大な文書を意味的に適切な単位に分割する処理を指す。この分割の巧拙は、検索時の適合率（Precision）と再現率（Recall）に直接影響し、ひいてはLLMが生成する回答の正確性・網羅性を左右する。にもかかわらず、チャンキング手法の体系的な比較研究は十分とは言えず、実務においては経験則に頼った手法選定が行われることが多い。

本稿では、代表的なチャンキング手法を概観し、それぞれの特性を比較するとともに、チャンクサイズの最適化に関する知見を整理する。なお、本稿で述べる知見は筆者の研究開発活動を通じて得られたものであり、具体的な実装の詳細については割愛する。

2. チャンキング手法の概要と比較

テキストチャンキングの手法は、分割の基準に応じて大きく以下の5つに分類できる。各手法の概要と特徴を以下に述べる。

2.1 固定長チャンキング（Fixed-size Chunking）

最も基本的な手法であり、テキストをあらかじめ定めた文字数またはトークン数で機械的に分割する。実装が極めて単純であり、処理速度が速いという利点がある。一方で、文や段落の途中で分割が発生するため、意味的な一貫性が損なわれやすいという根本的な課題を有する。

2.2 オーバーラップ付き固定長チャンキング（Fixed-size with Overlap）

固定長チャンキングの改良として、隣接するチャンク間に重複領域（オーバーラップ）を設ける手法である。オーバーラップにより、チャンク境界付近の文脈情報が保持されるため、固定長チャンキングに比べて検索精度が向上する傾向がある。ただし、オーバーラップ部分のインデックスサイズが増大するというトレードオフが存在する。典型的には、チャンクサイズの10〜20%程度のオーバーラップが設定される。

2.3 セマンティックチャンキング（Semantic Chunking）

埋め込みモデル（Embedding Model）を利用して文や段落の意味的類似度を計算し、意味の境界で分割を行う手法である。隣接するテキスト断片の埋め込みベクトル間のコサイン類似度を計算し、類似度が閾値を下回る箇所をチャンク境界とする。意味的に一貫性のあるチャンクが生成されるため、検索精度の向上が期待できる。しかし、埋め込み計算のコストが加わるため、処理時間が固定長手法と比較して大幅に増加する。

2.4 再帰的チャンキング（Recursive Chunking）

複数の区切り文字を優先順位付きで適用し、段階的にテキストを分割する手法である。まず段落区切り（改行2つ）で分割を試み、結果のチャンクが目標サイズを超過する場合は、次に文区切り（句点）、さらに必要であれば単語区切りへと、より細かい粒度で再帰的に分割を行う。文書の自然な構造を尊重しつつ、チャンクサイズを一定範囲に収めることができるバランスの良い手法である。

2.5 文書構造ベースチャンキング（Document Structure-based Chunking）

Markdown・HTML・PDFなどの構造化文書において、見出し・セクション・リストといった文書構造の要素を分割の基準とする手法である。文書の論理構造に沿った分割が行われるため、各チャンクの意味的完結性が高い。ただし、入力文書が明確な構造を持たない場合（プレーンテキスト等）には適用が困難であり、文書形式に依存するという制約がある。

2.6 手法の比較

上述の各手法について、主要な評価軸に基づく比較を表1に示す。

比較表から明らかなように、各手法はいずれもトレードオフを内包しており、万能な手法は存在しない。意味的一貫性を重視するならばセマンティックチャンキングが有利であるが、処理コストの増大は避けられない。処理速度と意味的品質のバランスを求めるならば、再帰的チャンキングが実用的な選択肢となる。

3. 最適なチャンクサイズに関する考察

チャンキング手法の選定と並んで重要なパラメータがチャンクサイズである。チャンクサイズは検索精度と生成品質の双方に影響を与えるため、慎重な検討が求められる。

3.1 チャンクサイズが及ぼす影響

チャンクサイズの設定は、以下の2つの相反する要求のバランスを取る問題として捉えることができる。

3.2 実験的知見

筆者の研究開発において、複数のドメインのテキストデータに対して種々のチャンクサイズでRAGシステムの性能評価を実施した。以下に得られた主要な知見を述べる。

1. 汎用的な推奨レンジとしての256〜512トークン: 多くのユースケースにおいて、256〜512トークンの範囲が検索精度と生成品質のバランスに優れていた。この範囲は、一般的な段落の長さに近く、意味的な完結性を保ちやすい。
2. ドメイン特性による最適値の変動: 技術文書・法律文書・一般的な記事など、文書のドメインによって最適なチャンクサイズは異なることが確認された。特に、専門用語の定義や条文の引用が頻出するドメインでは、やや大きめのチャンクサイズ（512〜768トークン）が有効であった。
3. 質問の粒度との相関: ファクトイド型の質問（具体的な事実を問う質問）に対しては小さめのチャンクが、要約・説明型の質問に対しては大きめのチャンクがそれぞれ有利であることが観察された。
4. オーバーラップの効果: チャンクサイズの10〜15%に相当するオーバーラップを設定することで、チャンク境界における情報損失を軽減できることが確認された。ただし、20%を超えるオーバーラップでは冗長性の増大に伴う性能低下が見られた。

注記: 上記の知見は筆者の実験環境における結果であり、使用する埋め込みモデル、LLM、評価データセット等によって最適値は変動しうる。実運用においては、対象ドメインのデータを用いたベンチマーク評価を実施することを推奨する。

3.3 チャンクサイズ選定のフレームワーク

1. ベースラインの設定: まず512トークン前後をベースラインとして設定する。
2. ユースケースの分析: 想定される質問の粒度と文書の特性を分析し、必要に応じてサイズを調整する。
3. オーバーラップの付与: チャンクサイズの10〜15%のオーバーラップを設定する。
4. 評価と反復: 代表的なクエリセットを用いて検索精度・生成品質を評価し、パラメータを微調整する。

4. 考察とまとめ

4.1 手法選定のガイドライン

チャンキング手法の選定にあたっては、システムの要件と制約に応じて適切な手法を選択することが肝要である。

4.2 今後の展望

• 適応的チャンキング: 文書の内容や構造に応じて動的にチャンクサイズや分割手法を切り替えるアプローチ。
• 階層的チャンキング: 粗い粒度と細かい粒度の複数レベルでチャンクを生成し、検索時に適切な粒度を選択する手法。
• マルチモーダル対応: テキストだけでなく、表・図・数式などの要素を含む文書に対するチャンキング手法の拡張。
• LLMを活用したチャンキング: LLM自体を用いて最適なチャンク境界を推定する手法。精度は高いがコストとのトレードオフが課題となる。

4.3 結語

本稿では、テキストチャンキングの主要な手法を概観し、その特性を比較するとともに、チャンクサイズの選定に関する知見を報告した。チャンキングはRAGシステムにおける「縁の下の力持ち」であり、その最適化はシステム全体の品質向上に直結する。本稿が、実務におけるチャンキング戦略の策定に際して、一つの参考となれば幸いである。