Sergey Nivens - Fotolia
Intégration de données : quelle solution choisir
Cet article vous accompagne dans votre décision d’achat d’une solution d’intégration de données et vous aide à faire la différence entre les produits commerciaux et ceux qui s’adossent à un modèle Open Source
Parce que les entreprises ont aujourd’hui besoin de collecter et de fédérer de grands volumes de données multi-sources, il existe désormais plusieurs types de solutions d’intégration de données. Mais avec tant de produits sur le marché, quelle est la meilleure approche pour choisir le bon outil ? Il ne s’agit pas de choisir celui dont le champ fonctionnel est le plus étendu, mais bien celui qui correspond le mieux aux besoins de votre entreprise – et de ses spécificités.
Avant de commencer, il vous faut poser quelques questions en interne pour vous aiguiller dans ce processus de sélection. Voici les points à aborder :
- Les systèmes sources. Combien en avez-vous ? Existe-t-il des chevauchements, comme plusieurs CRM ? Votre entreprise exploite-t-elle des données semi-structurées ou non structurées en plus des données transactionnelles ? Des sources externes sont-elles associées à des sources internes ? Quels sont les volumes de données et leur fréquence de mise à jour ?
- Les cas d’usage. Avez-vous besoin de cette intégration à des fins analytiques – d’abord via un entrepôt de données ? Votre entreprise fonctionne-t-elle avec un MDM (Master Data Management) ? Qu’en est-il de la synchronisation des données entre les systèmes sur site et les applications Cloud ; de l’échange des données entre les processus et les applications internes et celles chez les partenaires ? Avons-nous besoin de capturer des données pour le traitement d’événements complexes ou de flux de données temps réel ? Devons-nous virtualiser les données ?
- La taille de l’entreprise. Quel est le CA annuel de votre entreprise et quel est son effectif total ? Quel est son budget réservé à l’IT ?
- Compétences et ressources. Disposez-vous de ressources IT pour l’intégration de données ? Quel est leur niveau de compétence sur les outils ?
Une fois les réponses obtenues, il est nécessaire de considérer les 10 principales solutions du marché pour comprendre laquelle correspond le mieux à vos besoins.
Les solutions d’intégration de données pour les grandes entreprises
Ces grands comptes ont généralement quelques exigences en commun :
- Des systèmes sources très variés qui souvent se chevauchent, avec de grands volumes de données. Les sources de données structurées sont majoritaires, mais celles de données non structurées, comme les réseaux sociaux, les logs ou les fichiers, ou de données semi-structurées doivent être désormais intégrées.
- Les cas d’usage d’intégration sont nombreux.
- Les budgets IT sont suffisants pour investir dans la bonne solution. Cela ne signifie pas que l’entreprise dispose d’un budget illimité, mais qu’elle dispose de moyens pour le justifier.
- Une équipe IT dédiée avec des spécialistes de l’intégration de données ou le budget pour recruter les bons profils et les consultants ayant de l’expérience.
Les grands comptes, qui répondent à ces critères, ont alors la possibilité de considérer Informatica PowerCenter et IBM InfoSphere Information Server for Data Integration, car ces solutions ont la capacité de cibler tous les cas d’usage. Ils disposent aussi d’une évolutivité qui permet de gérer à la fois la complexité et le volume des données, ainsi que le besoin de rapidité dont ont besoin les grandes entreprises. Ces solutions peuvent être utilisées dans le cadre de plusieurs projets, quelle que soit la taille des équipes. IBM et Informatica proposent aussi des fonctions de MDM et de nettoyage de données. Les produits d’IBM mettent l’accent sur l’analytique et la gestion de l’information, alors que ceux d’Informatica sur les capacités d’intégration. Ces deux outils, robustes, sont couteux. Plus chers que ceux des concurrents, lls nécessitent aussi des compétences particulières. Ces solutions exigent également de disposer d’une infrastructure optimisée pour recevoir des implémentations complexes.
Nombre de concurrents directs d’IBM et d’Informatica, ont, au fil des ans, renforcer leurs solutions, se transformant en alternatives auprès des grands comptes – surtout ceux avec les mêmes exigences que celles précédemment citées. Les outils d’intégration de SAP, Oracle et SAS peuvent prendre en compte de nombreuses sources et répondent à de nombreux cas d’usage. Ces groupes proposent aussi des applications d’entreprise, comme des ERP, CRM ou applications analytiques et ont développé leurs propres outils d’intégration de données associés. Si une entreprise a déjà investi dans une technologie de ces sociétés, il est raisonnable de jeter un coup d’œil à leurs outils d’intégration.
SAP Data Services et SAS Data Management Platform proposent tous les deux des fonctions avancées d’intégration de données pour les grandes entreprises. SAP Data Services, bien que restreint aux applications du groupe, est de plus en plus intégré aux outils de la marque. Si l’entreprise dispose déjà des technologies SAP, ce produit est à considérer. De même, les clients de SAS qui s’appuient sur les outils statistiques et analytiques de la marque auront une préférence pour SAS Data Management Platform.
Solutions avancées pour les PME
Les PME ont généralement des besoins particuliers :
- Des systèmes sources variés qui prennent en compte des données sur site ou dans le Cloud. Des volumes qui varient en fonction de l’industrie, du produit ou des services proposés. Les sources de données structurées sont encore majoritaires, et les données non structurées ont encore une portée limitée.
- L’ETL et l’entrepôt de données sont les principaux cas d’usage, même si l’intégration d’application peut parfois se présenter.
- Les budgets IT sont limités.
- Une petite équipe est en charge de l’intégration et de la BI. Le recrutement de spécialistes n’est pas toujours possibles.
Si les PME qui répondent à ces critères ont des exigences en matière d’intégration de données, elles travaillent avec des ressources limitées en termes d’effectifs, de budget et de temps. Ces entreprises peuvent alors considérer les solutions de Microsoft, Oracle, Informations Builders, Talend ou Pentaho. Chacun de ces outils propose des fonctions pour cibler les besoins en matière de variété de données, de cas d’usage – avec des ressources limitées.
Les entreprises, qui utilisent déjà SQL Server et ont donc des compétences internes sur SQL, peuvent regarder du côté des produits de Microsoft, comme SQL Server Integration Services (SSIS). Ces outils partagent un même socle de développement, ce qui rend les processus plus efficaces. Microsoft a aussi étendu le champ fonctionnel de sa solution pour prendre en compte davantage de cas d’usage complexes et de sources de données. Même si les sources ne sont pas limitées à sa plateforme, les déploiements se limitent quant à eux à Windows. Historiquement sur site, les outils de Microsoft basculent de plus en plus dans le Cloud. En revanche, SSIS souffre d’un manque d’outils de transformation, de workflows et de gestion des processus, comme la capacité à suivre et gérer les processus via un repository.
Comme avec Microsoft, les entreprises qui utilisent déjà Oracle (comme les bases de données) seront davantage attirés par Oracle Data Integrator (ODI). ODI est un outil d’intégration de données et d’applications capable de gérer de grandes quantités de sources de données et prend en compte de nombreux scenarii d’intégration, comme par exemple la BI et le MDM. La scalabilité est également prise en compte. Si la solution propose de nombreuses fonctions, elle est souvent utilisée pour automatiser des scripts SQL. ODI nécessite une formation poussée pour gérer les implémentations complexes. Le capacité du produit à fonctionner de pair avec les produits Oracle étend son domaine d’application, mais accroit aussi la complexité du déploiement. Cela le rend difficile d’accès pour une équipe IT aux ressources limitées.
IWay Integration Suite d’Information Builders gère quantà lui les scénarii complexes, comme le MDM, la gouvernance des données ou le nettoyage des données. IWay est à considérer si l’entreprise utilise déjà des produits de la marque, car il est en effet très étroitement intégré aux autres produits. Ces outils sont réputés pour leur capacité de dimensionnement et pour fonctionner en temps réel avec les systèmes opérationnels. Un inconvénient : un nombre limité d’experts et d’expérience.
Les outils d’intégration de Talend et de Pentaho, eux aussi, répondent à plusieurs cas d’usage en matière d’intégration. Les deux solutions sont disponibles dans une version Open Source qui permet aux entreprises d’éviter les coûts de licences. Ces versions proposent des fonctions d’intégration solides mais qui n’ont pas de gros besoins, ou avec des budgets limités. Les versions premium dites Enterprise proposent quant à elle un champ fonctionnel plus avancé.
Pour les plus petites entreprises ayant des besoins affirmés
Les plus petites entreprises ont des spécificités bien à elles :
- Plusieurs systèmes sources, mais avec avant tout des sources de données structurées.
- Des cas d’usage liés à l’ETL et à l’entrepôt de données.
- Des budgets IT très limités.
- Des équipes réduites et multi-tâches (intégation de données, BI et système opérationnel).
Ces entreprises peuvent utiliser les outils d’intégration de données qui sont généralement inclus dans les bases de données comme celles d’Oracle ou Microsoft, ou encore les solutions de Open Source de Talend ou de Pentaho. Ces outils sont économiques : SSIS est livré avec SQL Server et les versions Open Source de Talend et de Pentaho proposent des fonctions d’intégration de données largement suffisantes. Un inconvénient : ces entreprises doivent s’assurer que leurs équipes IT ont les compétences adéquates.
Pour les plus petites entreprises peu demandeuses
Ces entreprises font essentiellement du reporting opérationnel directement depuis leurs systèmes sources et n’ont pas créé d’entrepôt de données pour intégrer des systèmes. D’une façon générale, ces entreprises n’ont pas l’intention d’investir dans des outils d’intégration de données ou dans des ressources IT. Celles-ci vont donc davantage se reposer sur ce qui est livré avec leurs applications en place ou écrire des scripts SQL spécifiques. Les utilisateurs métiers utilisent le reporting de leurs applications opérationnelles et se reposent sur des feuilles de calculs pour collecter des données de plusieurs applications.
Traduit et adapté par la rédaction