Pour Qlik, tous les chemins d’intégration mènent au data warehouse (ou presque)
Impatient de finaliser l’acquisition de Talend, Qlik déroule sa panoplie d’outils d’intégration de données. Son offre se concentre pour l’instant sur les mouvements et les migrations de données vers les data warehouse du marché.
Lors de la conférence annuelle QlikWorld 2023, Mike Capone, CEO de Qlik a présenté sa vision. Il souhaite mettre sur pied une plateforme analytique de bout en bout. Cette vision, qui dépend grandement de l’approbation de l’acquisition de Talend prévue ce trimestre, devrait se matérialiser à partir de 2024.
Pour le moment, il faut compter sur deux grandes feuilles de route : celle consacrée à l’intégration et l’autre à l’analytique. « 80 % des fonctionnalités proviennent des retours de nos clients », insiste James Fisher, Chief Product Officer chez Qlik lors d’une keynote. Cela fait d’ailleurs l’objet d’un point d’étape : l’éditeur prépare un mécanisme permettant aux utilisateurs d’envoyer un feedback depuis l’interface des outils Qlik. Aujourd’hui, environ 160 clients sur 35 000 ou 38 000 d’entre eux (les deux chiffres ont été partagés lors des sessions) participent activement au développement de la feuille de route.
Quoi qu’en dise l’éditeur, les avancées les plus visibles sont du côté de l’intégration de données. En 2023, Qlik entend ajouter de nouveaux connecteurs sources et cibles pour des services cloud, faciliter le traitement de données tierces, distribuer les données vers plusieurs cibles. Il souhaite également favoriser « les transformations push down », à savoir prendre en charge un plus grand nombre de moteurs de bases de données et de data warehouse capables d’exécuter la dernière partie d’un job ELT.
Les data warehouse cloud, une cible prioritaire pour les outils d’intégration de Qlik
Cette liste a peu d’intérêt si elle n’est pas mise en perspective parmi les produits concernés. En réalité, elle concerne Qlik Replicate, Compose et Qlik Cloud Data Integration.
Ainsi, Qlik Replicate a bénéficié récemment d’une réfection de ces points de terminaison source (MongoDB) et cible (Amazon MSK). En outre, il prend en charge davantage de fonctions spécifiques à Redshift, Databricks, Azure Synapse, ADLS2 ou encore à Azure SQL.
Qlik prend aussi en charge SAP ODP (Operational Data Provisioning), ainsi que des fonctions spécifiques à SAP HANA BW. En se concentrant sur l’écosystème SAP, il entend répondre à une des remarques effectuées par Gartner dans son Magic Quadrant 2022 consacré à l’intégration de données. Le cabinet d’analystes indiquait que le challenger Qlik ne couvrait pas encore suffisamment ce domaine.
En 2023, l’outil issu du rachat d’Attunity disposera d’un nouveau connecteur cible vers DB2/zOS, ainsi qu’un ensemble de mécanismes de sécurité, d’authentification et de supervision liés à Google BigQuery, Snowflake et Amazon S3. En outre, l’éditeur s’intéresse aux architectures orientées événements : Google Cloud PubSub et Snowpipe Streaming de Snowflake pourront servir de cible dans Qlik Replicate.
Qlik Compose, l’outil de création et de gestion de workflows automatiques dans les data warehouse, supporte depuis peu les tables externes de RedShift, de nouvelles sources SaaS et a profité d’optimisations concernant Azure Synapse. Par ailleurs, l’éditeur prend en charge le data catalog intégré à la plateforme lakehouse de Databricks. Au cours de l’année, Qlik entend muscler les automatisations liées à des fonctionnalisés d’Azure Synapse et de Snowflake, tout en proposant un moyen de transiter de Qlik Compose standalone vers Qlik Cloud.
Qlik Cloud Data Integration, l’offre d’ingestion et de transformation de données disponible depuis la plateforme cloud du fournisseur, a récemment bénéficié de nouvelles cibles vers Redshift et d’un renforcement de ses pipelines. Sur sa feuille de route, l’éditeur prévoit d’intégrer son outil avec GitHub, de centraliser le monitoring, de prendre en charge le data lineage au niveau colonnaire, ou encore les liens privés vers les trois clouds majeurs.
En lien avec Qlik Replicate, les fonctionnalités de transformation de Qlik Data Integration serviront à marquer automatiquement les données tierces, à supporter des traitements SQL personnalisés ou encore d’améliorer la constitution de Data Mart. L’éditeur poursuit là des efforts entamés en 2022. « La vision que nous avons exposée il y a plus d’un an, à savoir proposer l’intégration de données à la demande dans le cloud est désormais une réalité et est entièrement disponible », juge James Fisher.
D’autres fonctions de récupération de logs font leur apparition à plusieurs endroits du portfolio, notamment dans Qlik Replicate. Là encore, l’éditeur entend répondre à une remarque effectuée par les clients de Gartner concernant l’observabilité des pipelines.
Par ailleurs, Qlik Data Gateway, la passerelle servant à migrer des données stockées sur site dans le cloud et à exécuter des tâches de change data capture, permet depuis peu de cibler AWS RedShift, mais aussi de sélectionner le mode de livraison de données (CDC en temps réel, incrémental ou batch). L’éditeur a en outre mis l’accent sur la sécurité des transferts en prenant en charge des proxies entre la passerelle et Qlik Cloud.
Au travers du portfolio décrit jusqu’ici, il est clair que le fournisseur s’est concentré sur l’ingestion et la transformation de données dans les data warehouse.
Il veut pourtant se diversifier. Qlik Gateway Data Movement bénéficiera de plusieurs ajouts pour non seulement prendre en charge de nouvelles cibles dans le cloud, comme les DBaaS relationnelles, les plateformes de streaming et les services de stockage blob. De même, l’entreprise veut tirer des données depuis des sources on premise, mais également des services cloud, en se concentrant sur la réplication automatique, les chargements incrémentaux, et la prise en charge des outils SIRH du marché. Robustesse oblige, Data Gateway disposera de fonctions de haute disponibilité et de basculement.
Transformation de données : Qlik a besoin de Talend
L’éditeur ne pouvait pas s’interdire de mentionner ses projets concernant l’intégration des solutions Talend dans son portfolio. De fait, c’était le sujet de prédilection des porte-parole de l’éditeur.
« À plus long terme, nous établirons une base de services de référence dans Qlik Cloud », prévoit James Fisher. « […] Il s’agit de construire ces services de manière qu’ils soutiennent de façon transparente une gamme complète de cas d’usage de gestion de données, qu’il s’agisse de la réplication de bases de données, de la modernisation d’entrepôts de données, de la création de data lake, de la qualité des données, du streaming, des services API ou de la transformation des données opérationnelles », liste-t-il.
« Au fur et à mesure que Qlik réconciliera ses capacités dans un portfolio plus large [...], il aura la possibilité de créer une plateforme de produits et de solutions connectés, mais indépendants […]. ».
Steward BondAnalyste chez IDC
Outre la mise en qualité/gouvernance des données, l’apport de nouveaux connecteurs SaaS et la possibilité de créer en quelques clics des pointeurs API, Dan Potter, Vice-président Product Marketing chez Qlik, imagine que le moteur de transformation de Talend pourrait apporter de la flexibilité à leurs clients communs.
« Aujourd’hui, nous effectuons uniquement des transformations push down, à l’aide du moteur de l’entrepôt de données cible », explique-t-il. « Avoir la flexibilité d’effectuer cette transformation au plus près de la cible qu’elle soit sur site ou dans le cloud, à l’aide d’un cluster Apache Spark à faible coût, avant de les charger dans un entrepôt qui pourrait terminer les traitements ou accueillir les données préparées, c’est, je pense, important pour nos clients ».
Cette feuille de route commune n’existe pas formellement. Officiellement, Talend est un partenaire de l’éditeur. « Au fur et à mesure que Qlik réconciliera ses capacités dans un portfolio plus large, une fois l’acquisition finalisée, il aura la possibilité de créer une plateforme de produits et de solutions connectés, mais indépendants, qu’il pourra fournir à ses clients là où ils en ont besoin », commente Steward Bond, analyste chez IDC lors d’une brève intervention sur la scène de QlikWorld.
Même si tout se déroule selon le plan de Qlik, il faudra convaincre certains clients qui ignoraient jusqu’alors l’existence de Talend. « En deux jours, nous avons comptabilisé plus de 3 000 téléchargements de notre version d’essai. Certains semblent nous découvrir », s’étonne un Senior Solution Architect de Talend auprès du MagIT.
Pour approfondir sur Middleware et intégration de données
