Comment justifier l’achat d’un outil d’intégration de données

Comment les entreprises utilisent les outils d’intégration de données

Nous avons tous entendu parler de l’explosion des données. Il existe certes de plus en plus de données à intégrer, mais aussi d’avantage de catégories de données, des formats non structurés et semi-structurés ou bien simplement transactionnel. Cela fait donc de l’intégration de données un moteur indispensable.

L’utilisation la plus courante consiste aujourd’hui à intégrer des données de sources multiples pour les passer dans le filtre des  applications analytiques. C’est généralement par là qu’entrent les outils d’intégration de données packagés dans les entreprises. Les cas d’usages peuvent être divisés en trois sous-parties :

• Intégrer dans un entrepôt de données ou un datastore analytique. C’est le cas d’usage  qui démarre avec un ETL : les données sont extraits depuis de nombreuses sources, transformées et chargées dans un entrepôt de données d’entreprise. Les opérations d’intégration de donnés comptent pour la majorité des tâches lorsque l’on met en place un entrepôt de données. Traditionnellement, les bases de données relationnelles sont plus utilisées que les entrepôts de données, mais les technologies non relationnelles, comme les clusters Hadoop ou les bases NoSQL, sont de plus en plus utilisées pour créer des environnements d’entrepôts de données hybrides. Cela est aussi ajouté aux opérations d’intégration de données.
• Intégrer à un datastore BI dédié à des tâches analytiques spécifiques. Dans ce cas, la première opération d’intégration consiste à transformer les jeux  de données depuis un entrepôt de données pour répondre à des usages types, demandés par les métiers, par exemple. Ils sont ensuite chargés dans un datastore spécial, comme un data mart, un cube OLAP, ou une base en colonnes. Migrer les données d’un entrepôt relationnel vers un data mart relationnel est simple, mais avec les cubes OLAL et les bases non relationnelles, des ajustements sont nécessaires.
• Associer à d’autres données, préparées ou nettoyées pour être utilisées dans une plateforme de BI. Même si certains outils de BI permettent d’interroger directement les données, d’autres, comme les outils de découverte de données, fonctionnent mieux avec des modèles de données créés à partir des outils d’intégration de données – les mêmes utilisés pour les charger en colonne et en mémoire.

Les entreprises doivent aussi pouvoir récupérer les données d’un nombre de systèmes toujours plus grandissant, de différentes bases de données et d’applications – et ce, que ce soit sur site, dans un cloud public et privé. Les applications mobiles et l’IoT ajoutent à cela de la complexité. Au-delà de la BI et de l’analytique, les cas d’usage des outils d’intégration de données sont :

• Migrer, consolider et convertir des données à partir d’une ou plusieurs applications vers une autre application ou base de données. La bonne pratique en matière de consolidation d’application ou de migration consiste désormais à avoir recours aux outils d’intégration de données et non plus à des programmes spécifiques. Cela est dû aux gains de productivité apportés par ces outils ainsi que leur possibilité de validation de données et de documentation. Les autres avantages portent sur des processus pré-intégrés qui s’adaptent aux transformations complexes, au test itératif, au profiling de données et qui supportent les tests en parallèle.
• Acquérir et traiter des données pour le MDM (Master Data Management). Selon l’état des données, sa source et son utilisation, les outils d’intégration de données généralistes peuvent être enrichis par des outils dédiés au nettoyage et à l’enrichissement des données. L’exemple type est lorsqu’il faut faire correspondre, nettoyer et enrichir les données clients.
• Synchroniser les données entre des systèmes sur site, des applications dans le Cloud ou des terminaux IoT. Si elles abaissent certes la facture, les applications Cloud doivent être intégrées aux systèmes en place, sur site. Cela s’applique aussi aux terminaux de l’IoT. Toutes ces données du Cloud ou de l’IoT doivent être croisées et synchronisées avec les applications.  Les fonctions des outils d’intégration de données prennent désormais en charge des différents scenarii via des APIs par exemple et remplacent les bouts de code qui étaient jusqu’alors la seule méthode d’intégration.
• Echanger les données entre processus métier et applications installés dans d’autres entreprises. Si les échanges de données entre les entreprises et leurs fournisseurs, leurs partenaires et les clients sont essentiellement basés sur des fichiers, les outils d’intégration peuvent automatiser de tels échanges, augmenter la productivité et abaisser les coûts.
• Traiter des données pour les événements complexes et les traitements de flux (Steam processing). Les demandes en matière d’interopérabilité et d’interaction entre données avec les processus opérationnels comme les applications, les flux d’événements, les services Web et les capteurs par exemple nécessitent désormais de l’intégration de données en temps réel. Comme les plateformes d’intégration se sont désormais dotées de capacités de traitement en temps réel, de workflows très complexes et supportent nombre d’APIs, elles peuvent être installées en lieu et place des programmes spécifiques.
• Rassembler et intégrer virtuellement des données de systèmes disparates. Même si une entreprise dispose d’un entrepôt de données ou d’un MDM, il existe de nombreux scénarii où peut être utilisée la virtualisation des données. Lorsque les accès en temps réel à des systèmes disparates sont essentiels, comme par exemple lorsqu’un gestionnaire de compte ou un membre du support interagit avec un client, face à son compte. Ou encore lorsque l’intégration de données issues de sources spécifiques est une opération occasionnelle ou d’ordre exploratoire. Enfin, lorsqu’il reste encore des sources de données qui n’ont pas été prises en compte dans  l’entrepôt de données, mais qu’elles doivent encore être intégrées à un processus opérationnel.

 Avec une quantité de données grandissante à prendre en compte et à intégrer pour supporter les opérations et les processus analytiques, il est impératif de déterminer les besoins en outils d’intégration ainsi que les cas d’usage associés. Si l’on n’identifie pas le bon outil, l’entreprise n’aura pas accès à la bonne donnée, ou le fera de façon couteuse, chronophage et surtout inefficace.

Traduit et adapté par la rédaction