Dharma AI、文書から項目を抽出する20億パラメータモデル

Dharma AIは、文書画像から指定項目を抽出し、構造化JSONで返す2-billionパラメータのField Extractorを公開しました。請求書、医療依頼書、身分証などを対象に、文書全体のOCRテキストではなく、後続システムが使う項目や表の値を直接取り出す設計です。

利用者は項目をあらかじめ指定しないオープン方式か、キー名と型を決めるスキーマ方式を選べます。指定した値が文書に存在しない場合はnullを返し、指定スキーマと同じキー構造で出力するため、業務システムへの連携を想定しています。文書種別ごとの追加ファインチューニングは不要としています。

基盤はDharmaOCR-LITE v1.1で、43,384件の例を使ったLoRAアダプターを追加学習しました。英語の複数分野、ブラジルの実文書、その他の言語を含むデータで訓練し、請求書、領収書、申請書、銀行明細、身分証などを対象にしています。

同社の546文書、3シナリオのベンチマークでは、Field Extractorは0.834を記録し、比較した汎用モデルの0.816〜0.741を上回ったと発表しました。単一のL40Sでの自社運用費は、比較対象のAPIより約6〜147分の1としていますが、これは販売価格ではなく、ハードウェアや処理量などに左右される推計です。