Streaming de données : un sujet « critique » encore mal maîtrisé par les entreprises (étude)

Le streaming de données, un sujet important quand il n’est pas déjà prioritaire

Ces responsables, travaillant pour des organisations de plus de 500 salariés, sont majoritairement convaincus par le streaming de données. Pour 89 % des sondés, il est important d’investir dans des capacités de streaming de données. Environ 44 % d’entre eux voient là « une priorité stratégique ».

De fait, les systèmes orientés événements sont largement déployés. Pas moins de 72 % des sondés assurent que leur entreprise « s’appuie sur le streaming de données pour leurs systèmes critiques ».

Selon l’étude, 60 % des responsables IT déclarent qu’au moins cinq systèmes critiques « dépendent » du streaming de données. Dans le détail, 22 % des répondants comptabilisent 10 à 19 systèmes concernés, quand 20 % d’entre eux déploient Apache Kafka ou d’autres technologies dans 20 à 49 systèmes critiques. Seuls 5 % des sondés estiment que plus de 50 applications de ce genre s’appuient sur le streaming de données.

Les usages en production les plus répandus concernent « la gestion des risques numériques et la cybersécurité » (pour 44 % des sondés), la supervision IT (43 %), l’expérience client (36 %), l’automatisation des processus (36 %) ou encore la livraison des données aux outils BI et CRM (36 %). Les sondés notent surtout des gains « significatifs » d’efficience et de temps de réponse dans leurs activités.

La gouvernance des flux de données, le trou dans la raquette

Les futures pistes d’investissement des sondés concernent l’harmonisation des systèmes, ou encore, le partage de nouveaux flux et l’intégration/la réutilisation des topics déjà en place.

En ce sens, Confluent a annoncé la disponibilité générale de Stream Sharing, un moyen de partager et de contrôler les accès de topics entre différentes organisations, tant qu’elles utilisent un client Kafka.

Outre le fait de bénéficier d’un plus grand nombre de connecteurs vers les systèmes qu’elles déploient, les organisations seraient également à la recherche de moyens pour mieux gouverner leurs flux de données.

« Comme Apache Kafka prend de plus en plus une place centrale dans la couche de gestion de données des clients, ils réclament davantage de capacités de gouvernance », déclare Alexandre Lamy, directeur régional des ventes chez Confluent (France, Belgique, Luxembourg, Suisse, Maghreb). « Dans Confluent Platform 7.4, cela passe par le renforcement des contrats, à savoir des règles de mise en qualité des données pour le registre de schéma. Mais les clients réclament par ailleurs d’avoir un catalogue des flux de streaming, d’obtenir un lineage, d’obtenir la traçabilité des données en presque temps réel », poursuit-il.

En ce sens, dans Confluent Platform 7.4, une fonction de validation de la qualité permet de valider l’envoi de données sous forme de booléen. Par exemple, si une carte de crédit ou un numéro de sécurité sociale n’a pas le bon nombre de numéros, Kafka renverra une exception. Les règles de migration de schéma permettent, elles, de faciliter l’interopérabilité de topics associés à différentes versions d’un schéma.

Cela n’est guère surprenant. Les grands clients de Confluent sont des banques, des acteurs de la supply chain, de l’industrie manufacturière, des assurances ou encore des services financiers.

Pour comprendre et agir sur cette disparité, Freeform Dynamics et Radma Research ont établi un score de maturité sur 5, où 1 correspond à des organisations faisant des tests dans des environnements en préproduction, et 5 correspond à des acteurs capables de non seulement gérer de nombreux systèmes en production, mais également considérer leurs flux comme des produits de données.

Une maturité en forme de ventre mou à cause de projets lancés en ordre dispersé

Seul 1 % des sondés estiment avoir atteint le cinquième niveau de maturité. La majorité d’entre eux (63 %) considèrent avoir atteint le niveau 3. Confluent décrit ce stade comme le moment où les organisations ont « mis en production quelques systèmes critiques sans partager les données entre différentes équipes ».

Ce ventre mou cache en réalité une variété d’approches de déploiement. Confluent parle d’une adoption « souvent fragmentée ». Environ 35 % des responsables IT préfèrent déployer d’un service cloud entièrement géré par un fournisseur tiers.

De son côté, l’éditeur voit une croissance importante de son service Confluent Cloud. « Les entreprises qui l’adoptent ne veulent pas développer elles-mêmes les solutions. Elles souhaitent qu’un tel système de distribution de messages soit autonome et sécurisé », avance Alexandre Lamy. « Elles se rendent compte rapidement qu’il y a peu de valeur ajoutée à déployer elles-mêmes une telle architecture ». 

Pour autant, l’étude démontre que le cloud n’a pas un avantage encore très marqué. Ainsi, d’après le document, 28 % des personnes interrogées préfèrent utiliser un logiciel open source avec l’aide d’un éditeur tiers, et 30 % d’entre elles se tournent vers une solution propriétaire. Enfin, 30 % des sondés utilisent un logiciel open source géré en interne. En clair, il en ressort un léger avantage pour le cloud, mais, en général, un équilibre s’observe entre open source et propriétaire, cloud ou on premise.

Peu importe la méthode de déploiement, les architectures orientées événements ne sont pas simples à mettre en place.

Comme le conclut le Streaming Data Report, les problèmes d’organisation – plus particulièrement la fragmentation des projets – et le manque de personnels qualifiés affectent respectivement 74 % et 72 % des équipes des responsables interrogés.

Ils déplorent également le manque de financement pour moderniser les infrastructures et les contraintes liées aux systèmes existants, surtout quand ils sont propriétaires.

La fragmentation, un enjeu pour Confluent

En tant qu’éditeur, Confluent doit donc s’adapter à ces diverses situations.

« Nous essayons de déterminer avec les clients ce qu’ils peuvent obtenir en grimpant en maturité, suivant leur cas d’usage », évoque Richard Timperlake, vice-président senior des ventes en EMEA chez Confluent.

« La plupart des clients de services financiers me disent : “nous comprenons, nous savons que c’est important, mais en tant qu’établissement financier, nous avons des systèmes de traitements en batch existants importants. Nos équipes ont été constituées dans cet état d’esprit” », illustre Richard Timperlake. « À nous de trouver les moyens de les accompagner le mieux possible ».

Confluent doit forcément participer à cet effort s’il veut conserver sa croissance. S’il a généré 174 millions de dollars de chiffres d’affaires au premier trimestre fiscal 2023, il affiche 743 millions de dollars d’obligations de performance restante.