En réponse à Polaris, Databricks libère Unity Catalog

Deux sociétés en quête d’universalité technologique

« Les catalogues contiennent toutes les métadonnées, et c’est stratégique. Certains craignent une guerre pour le contrôle des catalogues, mais il existe déjà la norme de métastore Hive depuis près de vingt ans et l’API REST du catalogue Iceberg », poursuit-il. « Unity Catalog prend en charge les deux options depuis plus d’un an. En fait, seuls Databricks et Tabular supportent l’API Iceberg depuis près d’un an, aucun autre fournisseur ne le fait encore ».

Le CEO de Databricks est fier, mais il ne peut pas s’avancer de trop, sachant que Snowflake s’est laissé 90 jours pour libérer le projet Polaris. Dans ce laps de temps, son concurrent pourra clarifier ses intentions et potentiellement annoncer la prise en charge d’autres formats de table, de charge de travail, de données non structurées. « Pourquoi attendre 90 jours ? », lance Matei Zaharia, cofondateur et CTO de Databricks peu avant de passer la page GitHub du projet Unity Catalog OSS en public.

« Je ne suis pas inquiet. Il pourrait y avoir deux implémentations concurrentes : celle que nous avons et peut-être une autre dans 90 jours. Mais cela n’a pas vraiment d’importance pour les clients », considère le CEO. « Ils utilisent simplement nos services dans le cloud ou ceux de nos concurrents, voire les deux. C’est seulement pour ceux qui téléchargent et exécutent les projets open source qu’il pourrait y avoir deux alternatives ».

Or, ces mêmes clients pourraient décider de déployer eux-mêmes ces projets open source afin d’éviter tout enfermement propriétaire.

Lors du deuxième keynote d’ouverture, Matei Zaharia a présenté une implémentation de référence du catalogue Unity dans sa forme open source, en présentant un serveur, un SDK et un CLI dédiés, eux aussi ouverts. Il a démontré qu’il était possible d’interroger les mêmes données avec deux moteurs différents. Pour l’instant, certains moteurs ne sont accessibles qu’en lecture, alors que d’autres permettent d’écrire et de lire des tables au format Delta, Iceberg, UniForm.

Toutefois, les utilisateurs ne retrouveront pas immédiatement toutes les fonctions de la couche de gouvernance, prévient Joel Minnick. Dans un premier temps, les tables, les volumes et les fonctions « AI/ML » sont pris en charge dans cette couche de gouvernance. Des tutoriels ont déjà été publiés pour les moteurs Delta Lake, Trino, DuckDB et Apache Spark.

« Est-ce que toutes les fonctionnalités du catalogue Unity seront disponibles dans sa version open source dès le premier jour ? Non, mais nous allons travailler avec la communauté et commencer à publier ce à quoi ressemblera la feuille de route, car notre intention est de faire converger les deux éléments », affirme le vice-président du marketing. « Il y a beaucoup de choses dans Unity Catalog qui existent à l’intérieur de la plateforme Databricks et qui n’existent pas dans une implémentation de référence. Nous devons donc concevoir cette architecture ».

Unity Catalog OSS rejoint la LF AI&Data

Unity Catalog OSS sera ainsi rendu compatible avec le projet de partage de données Delta Sharing, des API permettront d’écrire les données, peu importe le format de données, de prendre en charge les fonctions distantes, les modèles et les objets MLFlow, ainsi que les vues matérialisées.

Le projet est confié à la fondation Linux, la terre d’accueil de Delta Lake et MLflow. Plus précisément, le projet vient d’entrer dans la phase « Sandbox » de la LF AI & Data. Joel Minnick indiquait la veille de l’annonce que l’entreprise avait hésité entre la Linux Foundation et la fondation Apache. Snowflake se pose la même question avec Polaris.

Dans un même temps, la version propriétaire d’Unity Catalog accueillera la possibilité de cataloguer les métriques métiers préparées depuis Databricks et des outils de transformation (dbt labs, Cube, Atscale), ainsi que des outils de BI du marché (Power BI, Qlik, Tableau, Looker, etc.). Une vingtaine de fonctionnalités ont été ajoutées cette année dans la couche de gouvernance, dont 12 en disponibilité générale (cf. l’image ci-dessus).

Pour rappel, la semaine dernière, Databricks a annoncé l’acquisition de Tabular, dont les fondateurs sont les créateurs du format de tables Apache Iceberg. Sur LinkedIn, un vice-président produit avait dénoncé la volonté de Databricks de prendre le contrôle du projet open source. LeMagIT vous partagera la réponse d’Ali Ghodsi dans un prochain article..