二つの新製品
詳細を読む
Databricksは6月16日、Data + AI Summitで、AIエージェント向けにデータ基盤を簡素化する二つの新製品を発表しました。一つは統治済みのDeltaおよびIcebergテーブル上でミリ秒級の照会速度を実現するLakehouse//RT、もう一つは取引データを書き込み時点からDelta/Iceberg形式で保存しETLを不要にするLTAPです。継続的に推論し実データに即応するエージェントが、自身と必要な情報の間にあるパイプラインを許容できないことが背景にあります。
共同創業者のレイノルド・シン氏は、ユーザーがアプリを量産する時代に、その上で分析的に推論するエージェントには基盤が邪魔をしないことが重要だと述べました。同氏は簡素なデータスタックを「エージェントにとっての聖杯」と表現し、エージェントは単純な構成のほうがはるかに速く動けると語っています。
LTAPは、2014年に調査会社ガートナーが提唱したHTAPへのDatabricksなりの回答です。エンジン層での統合を狙ったHTAPに対し、LTAPはストレージ層での統合を採ります。取引データはDeltaまたはIceberg形式で直接着地し、分析処理が読む単一コピーを共有します。取引エンジンにはPostgres、分析エンジンにはSparkとレイクハウスを使い分ける設計です。
技術的な核心は遅延の解消です。オブジェクトストレージの応答は秒単位でOLTPには遅すぎるため、Lakebaseはコンピュートとストレージの間にキャッシュ層を置きます。その層の遊休CPUで行から列への変換を事前に行い、変換時にデータは10倍超に圧縮されるため、ネットワーク負荷を大幅に減らせるとシン氏は説明しています。
もう一方のLakehouse//RTは、専用のリアルタイム配信層を置き換えます。新エンジンReydenがDeltaとIcebergを直接照会し、毎秒1万2000クエリで100ミリ秒未満、小規模データでは10ミリ秒の応答を実現すると謳います。すべての照会はUnity Catalogの統治下で動き、別個の権限層やデータ複製、取り込みパイプラインを必要としません。
アナリストは痛点の存在自体は認めつつ、差別化要因を冷静に見ています。HyperFRAME Researchのステファニー・ウォルター氏は、新しいのはエージェントを前提とした設計思想だとしつつ、Lakebaseが期待される遅延や信頼性を満たせるかは未証明だと指摘します。Moor Insightsのマイク・レオーネ氏は、取引書き込みまで開いた形式で着地させる点に独自性があるとしながら、両エンジンが本当に単一コピーを共有しているのか、技術者による説明を求めています。