特化の構造的優位
詳細を読む
AI開発企業のDharmaは7月16日、ブラジル・ポルトガル語に特化したOCRモデル「DharmaOCR」が、後発の汎用モデルを専門ベンチマークで上回ったとHugging Faceのブログで公表しました。3カ月前に公開した4Bパラメータの小型モデルは、新たに登場したMistral OCR4やUnlimited-OCRを退け、特化戦略の優位が維持されたことを示しています。
ベンチマークではDharmaOCRが0.925を記録した一方、Mistral OCR4は0.798、Unlimited-OCRは0.7587にとどまりました。両モデルはDharmaOCRより後にリリースされ、豊富な研究資源を背景に持ちますが、ポルトガル語のみを対象とした評価では約13〜16点もの差が付きました。
なぜこれほどの差が生まれるのでしょうか。生成モデルに基づくOCRは本質的に確率的であり、誤りの多寡はアーキテクチャと学習方法で決まると同社は説明します。単一言語に絞れば全パラメータをその領域に振り向けられるのに対し、多言語を扱う汎用モデルは同じ資源を分散させざるを得ません。
実例として、Mistral OCR4はブラジルの著名な音楽家Chico Buarqueの名を「Chico Barque」と誤読し、Unlimited-OCRは「chico bique」と崩しました。さらに小さな文字や劣化したスキャンでは、汎用モデルが原文と無関係な文章崩壊を起こし、下流の処理で使えない出力になると指摘されています。
DharmaOCRはこの弱点を、教師ありファインチューニングに加えDPO（直接選好最適化）を組み合わせた二段階学習で克服しました。同社は、新しいアーキテクチャが登場しても資源を一領域に集中させる構造的な優位は変わらないとし、今後も特化路線を続ける方針を示しています。