Les clés pour comprendre le bras de fer entre Snowflake et Databricks

Introduction

L’un vient du monde du data warehouse, l’autre du data lake. Et pourtant, en partant d’une position opposée, ils sont de plus en plus proches. Snowflake cherche à renforcer ses fonctionnalités liées à l’IA. Databricks fait de même, mais affine également sa prise en charge des entrepôts de données.

Ingénierie de données, FinOps, gouvernance et partage de données, IA générative… globalement les deux acteurs investissent dans les mêmes thématiques, sous l’impulsion de leurs clients respectifs.

De fait, pour le marché, Snowflake et Databricks sont devenus les grands concurrents dans un écosystème auparavant mené par AWS et Google Cloud. L’une des explications de ce phénomène n’est autre que la volonté pour les entreprises de gagner une forme d’indépendance par rapport aux fournisseurs cloud. Snowflake est le premier des deux à comprendre l’importance du multicloud, même si plus de 75 % de sa clientèle exploite d’abord des instances AWS.

Mais il faut aussi noter que les deux éditeurs se sont d’abord distingués sur des segments spécifiques. Et les clients utilisent (ou ont pu utiliser) Databricks et Snowflake de concert. Databricks s’est fait connaître avec son moteur Apache Spark semi-managé, utilisé pour transformer de grands volumes de données et ses outils pour entraîner des algorithmes. Snowflake, pour certains, a remplacé ou remplace les entrepôts et SGBD Oracle, Microsoft, SAP (BW/BW4HANA) ou Teradata. Il a d’abord simplifié la gestion des rapports BI.

Or les grands groupes l’expliquent clairement : ils ne veulent pas subir l’enfermement propriétaire qu’ils ont connu pendant des dizaines d’années. Un verrouillage dont les clés résident principalement dans les formats de données et de tables. En réponse, Databricks a ouvert en 2019 le format de tables de sa couche ACID Delta Lake. Si le format de fichiers open source sous-jacent, Apache Parquet, s’est imposé, l’éditeur n’a pas su convaincre en dehors de son cercle proche.

En revanche, le format de tables open source Apache Iceberg a pris de l’ampleur, au point de pousser l’ensemble des éditeurs de la place à offrir une compatibilité, même partielle, avec cette brique censée simplifier la portabilité des données. Cela lui a pris plus de deux ans, mais Snowflake prend pleinement en charge le format. Databricks les considère comme des tables externes et a lancé UniForm, un moyen de lire les tables Delta avec des readers Iceberg par la génération asynchrone des bonnes métadonnées.

En réalité, le contrôle du format réside dans le catalogue renfermant ces métadonnées. Snowflake et Databricks ont d’abord proposé des catalogues propriétaires, mais l’évolution du projet Iceberg les a obligés à changer d’approche, d’autant que les clients comptent bien sur la réversibilité du format. Snowflake a été le premier à annoncer la conception d’un catalogue open source lors de sa conférence annuelle Data Cloud Summit 2024, ayant eu lieu la première semaine de juin. Il sera disponible dans deux mois. La semaine suivante, lors de Data+AI Summit 2024, Databricks libérait et rendait disponible en direct de son événement annuel une variante ouverte d’Unity Catalog – peu importe si ses mécanismes ne sont pas parfaitement huilés.

La semaine précédente, lors de la conférence annuelle de son adversaire, Databricks faisait une autre annonce : le rachat de Tabular pour un montant compris entre 1 et 2 milliards de dollars. Tabular n’est autre qu’une entreprise montée par les créateurs d’Apache Iceberg. Plusieurs collaborateurs de Snowflake ont dénoncé une forme de prise de contrôle sur le projet : Tabular compte une trentaine de contributeurs réguliers à Iceberg. Une critique qu’Ali Ghodsi, cofondateur et CEO de Databricks a balayé du revers de la main auprès de la presse.

Reste que sur cette thématique comme sur les autres, celles mentionnées dans ce guide essentiel, les deux acteurs ne cessent de se jauger. Un bras de fer qui ne semble que débuter.
Crédits photo : G.Raoul ©Snowflake

1Stratégie-

Databricks gagne du terrain, Snowflake veut s’étendre

2Ingénierie de données-

Data as code et no-code

3FinOps-

Avoir le contrôle du contrôle du coût

4Gouvernance-

Match nul

5IA générative-

Une course à l’armement

6Open Source-

Une guerre ouverte autour d’Apache Iceberg