llama.cppがAPI安定性を重視しv1.0公開

Hugging Faceのllama.cppチームは11月13日、llama.cppとggmlのライブラリv1.0.0を公開しました。ローカル機から企業向けサーバーまで幅広い環境でマルチモーダル大規模言語モデルを動かす基盤として、利用者や連携ソフトの増加を見据え、APIとABIの互換性を明確に管理します。

今後は公開C APIに互換性を壊す変更がある場合、メジャーバージョンを上げます。後方互換の機能追加やバックエンド更新はマイナー、API変更を伴わない修正はパッチとして扱う方針です。

llama.cppは量子化や最適化したバックエンド、移植性の高いC/C++実装により、多様なハードウェアでの推論を可能にしてきました。基盤ライブラリggmlは150を超えるモデル構造と主要な投機的デコード方式を支援します。

開発チームはHugging FaceのBucketsやJobsを活用してCI能力を拡大し、NVIDIA、AMD、Qualcomm、Arm、IBM、Intelのハードウェア上で検証を進めています。API境界の明確化と品質管理は、ローカルAI製品を構築する開発者の継続的な利用を支える狙いです。