Suivi des traitements : Alation renforce ses intégrations avec Databricks et DBT

Accéder au lineage des traitements dans Databricks

Alation disposait déjà d'un connecteur avec Databricks qui permettait aux clients communs d'organiser et d'accéder à leurs données stockées dans le fameux « lakehouse » pour les utiliser à des fins analytiques ou de data science.

Le partenariat renforcé entre les fournisseurs ajoute la connectivité à Unity Catalog de Databricks, un catalogue de données interne au data lake cloud qui permet aux organisations de mettre en place une gouvernance et des mesures de data lineage.

Unity Catalog a d'abord été lancé en avant-première en 2021, avant d'être mis à disposition en juin 2022.

Selon Stewart Bond, analyste chez IDC, c'est l'ajout de données et d'actifs analytiques stockés en interne au catalogue de données d'Alation - et la possibilité d'accéder à ces données et actifs analytiques avec la plateforme de data cataloging - qui rend l'intégration intéressante.

« L'intégration ... [offre] une meilleure visibilité dans l'environnement Databricks pour les data analysts, et fournit une vue plus complète de tous les actifs de données impliqués dans les processus de data lineage et de gouvernance des données », assure-t-il.

Il ajoute que le catalogue Unity de Databricks est conçu pour un public cible d'experts, alors que les produits tels que ceux créés par Alation et Collibra, sont souvent destinés aux utilisateurs en libre-service qui ont besoin de trouver et de travailler avec des données fiables sans avoir à écrire de code.

Le nouveau connecteur répond aux besoins des ingénieurs et des data scientists qui ne sont pas toujours satisfaits par le catalogue de données existant d'Alation.

«Le catalogue Unity de Databricks est très technique et s'adresse à un public différent de celui qui utilise le catalogue d'Alation», explique M. Bond.

Databricks s’est également rapproché du concurrent français d’Alation DataGalaxy, particulièrement populaire en France et en Europe. Certains de leurs clients communs espèrent une intégration similaire.

DBT, un ELT de plus en plus populaire, selon Alation

Alation avait aussi une relation préexistante avec DBT Labs qui remonte à octobre 2022, lorsque les deux ont dévoilé un premier partenariat. Dans ce cadre, Alation ajoute un nouveau connecteur qui prend en charge DBT Core et DBT Cloud dans sa plateforme.

DBT Core est un outil pour les data engineers, un ELT open source fortement axé sur la transformation de données au sein du système cible (data warehouse, data lake). DBT Cloud est la version hébergée de la plateforme DBT, un service géré qui fournit une interface utilisateur basée sur le web pour remplir des tâches semblables.

Le connecteur permettra aux utilisateurs métiers d'extraire de l'environnement DBT des descriptions pour les données sélectionnées et le lignage des données pour les bases/entrepôts de données tels que Snowflake et PostgreSQL. Ils pourront ensuite transférer les descriptions et le lignage dans Alation afin de visualiser et de comprendre plus facilement les transformations de leurs données sous-jacentes.

« L'intégration avec DBT est importante dans la mesure où elle fournit aux data engineers de meilleures descriptions des modèles, des colonnes et de l'historique des données », avance Stewart Bond. « Elle permet également aux utilisateurs de DBT de gérer et de contrôler les groupes d'actifs, offrant ainsi la possibilité d'inclure les actifs DBT dans des processus plus larges de gouvernance des données.

Dans l'ensemble, les nouveaux connecteurs d'Alation à Databricks et DBT Labs permettent de mieux comprendre l'écosystème de données d'une organisation, poursuit-il.

Diby Malakar, vice-président de la gestion des produits d'Alation, confirme les dires de l’analyste d’IDC.

Il ajoute que Databricks et DBT Labs étaient tous deux des cibles pour les nouveaux connecteurs en raison de l'importance croissante qu'ils jouent dans les « stacks de données modernes ».

« Nous observons un modèle récurrent qui consiste pour les clients obtenir des données à partir de systèmes existants, [de les charger] vers un système de données moderne, puis utiliser DBT pour transformer les données », avance-t-il.

Snowflake est peut-être le principal concurrent de Databricks et est aussi populaire que ce dernier, selon le vice-président de la gestion des produits. C'est pourquoi Alation a établi un partenariat étroit avec Snowflake.

DBT, quant à lui, gagne en popularité parmi les utilisateurs d'Alation, selon M. Malakar.

«DBT joue un rôle très important dans la transformation des données dans le paradigme ELT», affirme-t-il.

« De plus en plus, nous assistons à la montée en puissance des éditeurs inscrits dans la mouvance « modern data stack », et nous avons estimé que Databricks et DBT étaient deux acteurs dominants dans ce paysage que nous voulions absolument soutenir dans le contexte du soutien au libre-service ».

De nouveaux connecteurs vers les outils de la « modern data stack »

Alation propose des mises à jour une fois par mois.

Diby Malakar a précisé que la feuille de route de l'éditeur prévoit davantage d'intégrations avec DBT et avec les fonctions de lignage de données d'Unity Catalog de Databricks. En particulier, à mesure que DBT Cloud gagne en popularité, Alation prévoit de fournir plus de synergie entre son propre catalogue de données et le service managé de DBT.

« Comme nous voyons [les clients] accroître leurs usages dans le cloud dans le cadre de leur transformation, nous pensons que l'intégration que nous construisons avec DBT servira d'accélérateur pour eux », vante-t-il.

Stewart Bond, quant à lui, a noté que l'Open Connector Framework (OCF) d'Alation permet à l'éditeur de construire rapidement des connecteurs qui donnent à ses clients l'accès aux nouvelles technologies dès leur apparition.

Les nouveaux connecteurs pour Databricks et DBT en sont deux exemples.

À l'avenir, Alation continuera d'ajouter des connecteurs qui améliorent ce que ses clients peuvent faire avec sa plateforme.

« Au fur et à mesure que la demande des clients se manifeste pour les nouvelles technologies qui émergent dans l'environnement de données moderne, Alation ou des tiers ne devraient pas tarder à ajouter de nouveaux connecteurs », conclut Stewart Bond.