agsandrew - Fotolia
Astra Streaming : DataStax veut traiter tous les événements (ou presque)
En disponibilité générale, Astra Streaming rassemble Pulsar, Kakfa, RabbitMQ et JMS sous une même bannière.
À la fin du mois de juin, DataStax a annoncé la disponibilité générale de son service Astra Streaming, un an après l’avoir présenté.
L’éditeur, basé à Santa Clara, en Californie, a levé 115 millions de dollars le 15 juin et est l’un des principaux contributeurs à la base de données open source Apache Cassandra.
DataStax s’est positionné sur le marché du streaming de données après avoir acquis Kesque en janvier 2021. Le fournisseur construisait une plateforme basée sur la technologie open source Apache Pulsar.
La technologie de Kesque est devenue le fondement initial du service Astra Streaming, qui offre une capacité de streaming de données événementielles prise en charge commercialement. Alors qu’au départ, ce service cloud ne supportait que Pulsar, DataStax a étendu la technologie à Apache Kafka, à RabbitMQ (open source) et aux flux de données JMS (Java Message Service).
DataStax a de nombreux concurrents dans le domaine du streaming, notamment Confluent, qui est l’un des principaux contributeurs à Kafka, ainsi que des fournisseurs basés sur Pulsar, dont StreamNative.
Bien qu’Astra Streaming ait maintenant étendu sa prise en charge des protocoles au-delà de Pulsar, il lui reste encore quelques lacunes à combler. Parmi les autres formats populaires qu’Astra Streaming ne prend pas en charge actuellement figurent MQTT et Apache ActiveMQ, qui sont couramment utilisés dans les cas d’usage IoT. Cela n’empêche pas les dirigeants de croire dur comme fer en ce service cloud.
Parmi les utilisateurs d’Astra Streaming de DataStax figure Michael Smith, directeur de l’ingénierie de la société de services financiers Commonstock à San Francisco.
Commonstock est un réseau social consacré à la finance. L’architecture sous-jacente transmet des flux de données des marchés financiers, des données issues des portefeuilles des utilisateurs, ainsi que les contenus des messages des inscrits. Tous ces services communiquent entre eux via API.
Commonstock dispose également d’un service qui recommande le contenu à afficher dans le flux d’un utilisateur. Pour faire des recommandations, la plateforme doit obtenir des métadonnées de plusieurs services en temps réel. C’est là qu’Astra Streaming s’intègre dans l’architecture informatique de l’entreprise.
« Nous utilisons Astra Streaming comme un mécanisme permettant de générer des événements sur des services auxquels d’autres services peuvent s’abonner », explique Michael Smith.
Par exemple, Commonstock recommande un contenu en fonction du fait qu’un client qui le suit a cliqué sur le bouton « J’aime » pour une transaction effectuée par quelqu’un d’autre, explique le directeur de l’ingénierie.
Starlight, le projet pour aller au-delà de Pulsar
L’effort visant à permettre au service Astra Streaming basé sur Pulsar de prendre en charge d’autres technologies de flux d’événements provient d’un ensemble d’efforts open source mené par DataStax et connu sous le nom de Starlight.
Starlight fournit une couche de compatibilité pour différents protocoles, au-dessus de Pulsar. Pour Kafka, RabbitMQ et JMS, les développeurs de DataStax travaillant sur Starlight ont dû comprendre le fonctionnement de chaque protocole spécifique pour aider les utilisateurs souhaitant exécuter ces technologies avec un déploiement Astra Streaming, selon Chris Latimer, vice-président de la gestion des produits chez DataStax.
Dans la pratique, l’éditeur a mis au point un plug-in installé au niveau des brokers Astra Streaming qui gère le protocole spécifique à chacune des technologies. Si les mécanismes utilisés sont différents, ce plug-in joue le rôle de proxy pour permettre la compatibilité de ces flux exogènes avec Pulsar.
La prise en charge de Kafka, RabbitMQ et JMS dans Astra Streaming est bidirectionnelle, ce qui signifie que le service peut à la fois importer et exporter des flux de données d’événements dans n’importe lequel de ces formats, en plus de Pulsar.
Le mariage d’Astra Streaming et d’Astra DB
Les données en continu peuvent aider les organisations à établir des tableaux de bord opérationnels et à envoyer des messages. Les données en continu peuvent également être utiles pour l’analyse des données et l’apprentissage automatique, mais elles doivent souvent se trouver dans une base de données, et c’est là qu’intervient le service cloud Astra DB de DataStax.
En mars, DataStax a déclaré qu’elle utilisait la technologie Astra Streaming pour activer les capacités de change data capture (CDC) dans Astra DB. Alors qu’Astra Streaming n’était pas encore disponible, l'éditeur s’est engagé à fournir un support complet, mais uniquement pour l’application de CDC lié à Astra DB, selon Chris Latimer.
Maintenant qu’Astra Streaming est disponible, M. Latimer explique que DataStax prend en charge Astra Streaming avec Astra DB pour toutes les applications. Par exemple, les données peuvent désormais être ingérées dans Astra DB, puis utilisées pour l’analyse des données.