Hybrid Deployment : Fivetran cible les entreprises régulées

Hybrid Deployment : des pipelines de données managés, mais sur site

Techniquement, Fivetran déploie un agent local derrière le réseau de ses clients. Cet agent déployé sur un serveur Linux équipé de Docker ou Podman reçoit les jobs à exécuter configurés depuis l’interface utilisateur ou une API côté Fivetran. Le control plane et le data plane communique à travers un point de terminaison d’orchestration utilisant le protocole gRPC. Le tout est protégé à l’aide d’un tunnel mTLS.

Suivant la nature du job, l’agent local télécharge les images nécessaires aux transformations à partir d’un registre privé situé dans le périmètre du control plane, puis effectue les traitements réclamés.

Dans sa documentation, l’éditeur recommande de déployer les conteneurs sur un serveur équipé d’un minimum de 4vCPU x 86-64 et de 8 Go de mémoire vive. Il est nécessaire d’allouer un minimum de 50 Go d’espace de stockage à Docker ou Podman. Bien évidemment, il faut s’assurer que l’espace de stockage persistant est suffisant pour accueillir les jeux de données traités.

L’agent renvoie des métadonnées (métriques de synchronisation, nombre de lignes actives par mois, logs) au control plane, afin d’indiquer le statut des jobs et le faire apparaître depuis le tableau de bord de la plateforme. Chaque agent peut gérer 10 connecteurs. Fivetran assure qu’Hybrid Deployment prend en charge 500 connecteurs, mais n’en liste qu’une quarantaine (en comptant les variantes), dont six destinations (BigQuery, Databricks, PostgreSQL, PostgreSQL RDS, Redshift et Snowflake) dans sa documentation.

Selon Fivetran, les métadonnées servent à synchroniser les données, à gérer les jobs et à facturer les clients suivant le nombre de lignes actives (comme avec son offre SaaS). Les données des clients sont traitées localement et ne doivent pas quitter leur réseau privé. Il serait possible de déplacer les données à plus de 30 Mb/s.

« Comme vous le savez, chaque client est confronté à des attentes de plus en plus élevées en matière de conformité et de sécurité, ainsi qu’à une quantité croissante de données, tant internes qu’externes », affirme Taylor Brown, cofondateur et COO de Fivetran.

« Ce que les clients en retirent, c’est qu’ils peuvent gérer toutes leurs données sur site à partir d’un environnement hébergé dans le cloud. […] Ils peuvent désormais limiter spécifiquement les données qui sont transférées de leur environnement sur site vers leurs instances cloud tout en bénéficiant d’une configuration managée ».

 Pour rappel, le spécialiste de l’ELT s’est d’abord fait connaître pour son service SaaS avant de racheter HVR, l’éditeur d’une solution de réplication de données en 2021 pour 700 millions de dollars.

Pas (encore) un remplaçant à HVR

Si Hybrid Deployment est une émanation technique de ce rachat, Fivetran continue de maintenir l’offre self managed de HVR, qui, elle, peut être déployée entièrement sur site. Pour l’heure, ce sont deux offres techniquement distinctes et il n’existe pas encore de chemin de migration.

« Nous prévoyons de faciliter la migration, mais pour l’instant, nous conseillons à nos clients de continuer à utiliser HVR si celui-ci répond à leurs besoins », indique Taylor Brown. « Nous allons maintenir le support d’HVR sur le long terme et continuer à y apporter des améliorations. En revanche, pour les nouvelles charges de travail ou celles qui ne sont pas prises en charge par HVR, nous recommandons de commencer directement sur Hybrid Deployment », ajoute-t-il.

Et au COO d’assurer qu’à terme le service offrira plus de 500 connecteurs différents, « ce qui représente un avantage considérable par rapport aux 15 connecteurs ou plus pris en charge par HVR ».

« Hybrid sera également compatible avec notre nouveau service de data lake, qui est en phase avec les nouveaux formats de fichiers ouverts comme Delta et Apache Iceberg ». Fivetran Managed Data Lake a été lancé en juin dernier. Cette fonctionnalité doit automatiser l’ingestion de données dans les instances cloud S3, Azure Data Lake Storage et Microsoft OneLake.

Taylor Brown croit d’ailleurs qu’Hybrid Deployment est « un moyen plus sûr et plus simple du point de vue de la gouvernance » de gérer l’ensemble des sources, qu’elles soient sur site ou dans le cloud. « Il est très difficile de gérer des milliers de sources sans une plus grande automatisation », insiste-t-il.

La France, un marché « très important » pour Fivetran

Le dirigeant estime qu’Hybrid Deployment s’adresse plus particulièrement aux entreprises internationales œuvrant dans des secteurs régulés.

« Les premières entreprises à adopter [Hybrid Deployment] sont des services financiers », déclare Taylor Brown. Des acteurs de la santé s’y intéressent également.  

« Même sans obligation réglementaire, beaucoup opteront pour cette solution, car elle leur offre un contrôle accru en gardant les données entièrement dans leur propre environnement », assure-t-il. « De nombreuses entreprises internationales, notamment celles basées en Europe, sont confrontées à des restrictions sur le transfert des données. Par exemple, bien que nous disposions d’accès à des serveurs cloud en France permettant aux clients locaux de gérer leurs réplications, il peut arriver que des données doivent être stockées en Chine, ce qui est fréquent pour les marques de luxe ».  

Avec Hybrid Deployment, Fivetran vise donc plus particulièrement des acteurs européens, un marché dans lequel la France compte beaucoup.

« La France reste un marché très important pour nous. Les entreprises y sont confrontées à un ensemble de défis liés à la sécurité, la réglementation, en particulier le RGPD », indique Taylor Brown. « Le pays possède un secteur industriel diversifié et dynamique, tant dans le domaine des technologies que dans celui des services financiers, sans oublier les marques de luxe. C’est un marché très prometteur dans lequel nous souhaitons continuer à investir, et c’est pourquoi nous avons renforcé notre équipe locale ».

Lors de Big Data Paris, les 15 et 16 octobre prochains, Fivetran poussera sa solution aux entreprises françaises.

« Le déploiement hybride renforce encore cette dynamique, et de nombreux clients avec qui j’ai déjà échangé se montrent très intéressés par cette flexibilité », avance Taylor Brown.

Dans un même temps, l’offre Fivetran Managed Data Lake, qui doit permettre de mieux contrôler les coûts d’injection dans les data warehouse et data lake cloud du marché, ainsi que l’application native bâtie sur Snowflake Container Services intéresseraient les clients français.

« L’idée de pouvoir acheter Fivetran par l’intermédiaire de Snowflake sans devoir passer par nous directement séduit », considère le COO. « Cette instance s’exécute dans n’importe quelle instance de Snowflake, ce qui rend les choses très propres et faciles pour eux du point de vue de la réglementation et du traitement des données ».