詳細を読む
規制業界向けのRAG(検索拡張生成)分類システムを1年以上手掛けてきたエンジニアのヴィニート・ヴィジャイ氏は、あらゆる判断をLLMに丸投げする設計から脱却し、ルールと検索を経て曖昧な案件だけをLLMに回す3段階のカスケード型アーキテクチャを提案しました。ある実システムでは推論コストを従来比6分の1まで削減しながら、多数派の案件で判断のぶれをほぼなくしたといいます。
全ての判断をLLMに委ねる設計は、デモ段階では快適に動作します。しかし規制当局や監査担当者に「なぜその判断に至ったか」を説明する場面になると、たちまち破綻します。加えて、処理件数が数万件規模になると推論コストと遅延がそのまま比例して膨らみ、単純な案件でもモデルの判断が一貫しないという副作用も見過ごせません。
そこでヴィジャイ氏が提案するのが、LLMを最前線ではなく最後の砦として使うカスケード設計です。第1段階では完全一致や構造化された項目比較など、ルールで判定できる案件を即座に処理し、全体の半数以上をここで解決します。第2段階では、第1段階で解決しなかった曖昧な案件について、過去の類似判断や関連文書といった具体的な根拠を検索し、第3段階のLLMには全体の1〜2割程度しか届かないように絞り込みます。
実際にヴィジャイ氏が携わったあるシステムでは、この絞り込みによってLLMへの呼び出しを全体の10〜15%程度に抑え、全件LLM方式と比べて推論コストを約6分の1まで削減できたといいます。同時に、ルールで処理できる大多数の案件については判断の一貫性がほぼ完璧な水準まで向上したとしています。
LLM段階に到達した案件についても、ヴィジャイ氏は中立的な指示ではなく非対称リスクを明示したプロンプト設計を勧めています。見逃しによる実害と誤検知によるレビュー負担は同じ重さではないため、不確実な場合はエスカレーションを優先させ、分類結果とあわせて信頼度スコアを出力させます。信頼度が一定の閾値を下回った案件は、モデルの判定結果にかかわらず人間のレビューへ回す仕組みです。
評価面でも従来のRAG評価指標をそのまま使うと危険だとし、検索精度と最終的な分類精度を別々に測定すること、評価データにLLM段階まで到達する案件を意図的に多めに含めることを推奨しています。ヴィジャイ氏は、成熟したRAGシステムとはモデルの判断をどう改善するかではなく、そもそも何をモデルに触れさせないかを決める設計だと結論づけています。