AlexOakenman - Fotolia

Actualites

Data Streaming : Confluent Cloud se convertit à l’Infrastructure as Code

La nouvelle mise à jour de Confluent Cloud introduit des fonctionnalités pour faciliter l’intégration des flux de données dans un déploiement multicloud, avec le lancement d’un provider Terraform.

par
Publié le: 20 juil. 2022

Confluent, l’éditeur d’une plateforme de streaming de données événementiel, a annoncé le 19 juillet la disponibilité générale de la mise à jour du troisième trimestre 2022 pour Confluent Cloud.

Pour rappel, Confluent est entré en bourse il y a un an, dans un contexte d’adoption croissante des technologies telles qu’Apache Kafka, le projet open source porté par l’entreprise.

En janvier 2022, Confluent a présenté une mise à jour de son service Confluent Cloud visant à étendre sa plateforme pour mieux prendre en charge les déploiements hybrides et multicloud. Avec cette version Q3 2022, Confluent maintient cet objectif. Il ajoute le support d’un provider Terraform pour automatiser le lancement de clusters Kafka et les ressources de flux de données correspondantes sur Confluent Cloud.

Terraform est une technologie open source d’Infrastructure as Code (IaC) développée par HashiCorp. Elle permet aux équipes IT de définir de manière programmatique le déploiement d’un ensemble de services.

Avec le provider Terraform, une organisation peut constituer une infrastructure IT à partir de composants d’API pour exécuter une pile complète relative à une charge de travail réplicable pour des besoins multicloud. Confluent a dû revoir ses API afin de les rendre compatibles avec Terraform.

Cet ajout n’est pas anecdotique. Confluent est en concurrence avec de nombreux éditeurs de solution de streaming de données. Plusieurs d’entre eux fournissent des services managés pour Apache Kafka, notamment Aiven, Instaclustr – qui a récemment été acquis par NetApp – et Amazon Managed Streaming.

Les efforts de Confluent pour incorporer Terraform dans cette version soutiennent sa volonté de supporter les données en mouvement, selon David Menninger, un analyste de Ventana Research.

« La création d’un provider Terraform facilitera l’intégration de Confluent dans l’infrastructure des entreprises », affirme Dave Menninger.

L’analyste considère que l’éditeur s’offre là les moyens pour permettre aux sociétés d’exploiter davantage leurs données. Plus précisément, il estime que le marché du data management a besoin de mieux supporter les charges de travail liées à l’IA et au machine learning.

« Confluent a fait un excellent travail en fournissant une infrastructure pour aider les organisations à manipuler des données en continu », déclare Dave Menninger. « Cependant, tirer toute la valeur des données nécessite de l’analytique, de l’IA et du machine learning afin de pouvoir réagir en temps réel. Une grande partie de cet effort est laissée aux partenaires et aux tiers à ce stade ».

Comment Terraform étend les capacités Confluent Cloud

Terraform est une technologie importante pour les entreprises qui veulent construire des déploiements de cloud répétables, indique Dan Rosanova, responsable de la gestion des produits pour Confluent Cloud.

Les organisations mettent souvent en place un ensemble de services sur un seul ou plusieurs clouds afin de supporter une charge de travail particulière. Les capacités de streaming de données d’événements de Confluent peuvent prendre en charge plusieurs types de workloads, notamment les tableaux de bord opérationnels, la BI et l’analyse de données.

« Le fait que notre service soit maintenant contrôlable par Terraform est une avancée considérable pour nous, car nous sommes le fournisseur des tuyaux au milieu de tout », vante Dan Rosanova.

Sans l’outil IaC, les équipes IT devaient paramétrer et se connecter manuellement à Confluent Cloud afin de proposer des services. À présent, avec Terraform, il existe un provider standardisé qui définit la configuration et les politiques d’utilisation de Confluent Cloud, ce qui permet une approche automatisée et reproductible du déploiement.

Simplifier la gestion du réseau, raffiner les fonctions d’audit

Cette version Q3 2022 est accompagnée d’une initiative pour découpler la gestion du réseau de celles des applications s’appuyant sur Confluent Cloud. Il est dorénavant possible d’allouer plusieurs clusters par réseau Confluent Cloud. D’ailleurs, ces fonctions réseau peuvent être déployées via API ou via Terraform.

En outre, Confluent a simplifié le nommage des topics dans Cluster Linking, son service de mirroring multicloud et on-premise.

« Désormais, un préfixe identifiant le cluster source peut être automatiquement ajouté aux topics miroir dans le cluster de destination », assure l’éditeur, dans un billet de blog.

« Les topics portant le même nom provenant de plusieurs clusters sources peuvent tous être répliqués vers la même destination avec un préfixe de nommage qui permet de les distinguer »., précise-t-il. Cela simplifierait l’agrégation et le partage de données ainsi que les déploiements actifs-actifs sur plusieurs instances.

Les administrateurs de Cluster Linking ont aussi le droit à une nouvelle interface en glisser-déposer pour la configuration de la géoréplication et des transferts de données hybrides et multicloud.

Pour des besoins de performances et haute disponibilité, Confluent Cloud autorise la sélection des zones réseau pour AWS et Google Cloud afin de placer les clusters multizones dédiés dans la même zone de disponibilité.

À des fins de sécurité, Confluent a également ajouté la surveillance des connexions des usagers en étendant sa librairie d’audits des événements.

Confluent avait déjà apporté une forme de visibilité sur la manière dont les utilisateurs créaient et supprimaient de nouvelles sources de flux de données d’événements, rappelle Dan Rosanova.

Cependant, Confluent ne fournissait pas auparavant d’informations granulaires sur les connexions des usagers à Confluent Cloud. En suivant les tentatives de connexion des utilisateurs, Dan Rosanova affirme qu’il est possible d’identifier les problèmes de sécurité potentiels ainsi que les méthodes d’accès aux services.

Pour approfondir sur Middleware et intégration de données