Intégration de données : comment identifier et tester les fonctions

Quels sont les critères à évaluer

Pour simplifier le processus de sélection, il faut classer les fonctions en 4 catégories : celles indispensables, celles qu’on devrait avoir, celles qu’on juge utiles et les inutiles.

Les fonctions nécessaires doivent être indéboulonnables : si une plateforme ne les possède pas, elle doit être éliminée de toute considération. Les fonctions de la seconde catégorie se situent dans une zone grise, entre les plus indispensables et les plus utiles, mais certaines fonctions peuvent avoir un impact majeur en matière de productivité, de dimensionnement et de capacité de maintenance. Bien que celles listées dans la 3^e catégorie ne soient pas requises, ce sont souvent elles qui  permettent de différencier une solution.

Parfois, lorsqu’on cherche à savoir si tel outil a la bonne fonction, on peut se dire : « oui, cela correspond à mes critères, mais… ». Derrière ce « mais » peut se cacher du code spécifique ; un add-on, un outil tiers ; une édition particulière, une future fonction dans une future version. Ces exceptions impliquent donc de passer plus de temps et de dépenser plus pour répondre aux exigences. Il convient donc de savoir comment prendre en main cela, pour à la fois obtenir une évaluation objective et éviter les surprises.

Si une fonction indispensable manque à l’appel, il est habituel d’avoir la réponse suivante : le code spécifique. Mais attention : il est nécessaire d’évaluer le coût en termes de temps passé et de ressources, pour au final calculer s’il est préférable de passer outre la fonction ou de choisir une plateforme qui la propose.

Quelles sont les fonctions à considérer

La liste des exigences variera en fonction des entreprises. Toutefois, les fonctions cœur des outils d’intégrations de données, listées ci-dessous, sont généralement celles que les entreprises considèrent comme indispensables :

• Accès aux données multi-sources. La solution sélectionnée doit permettre d’accéder directement à plusieurs structures de données et typologies d’informations :
  • Les bases de données relationnelles, en colonnes, In-Memory et NoSQL ainsi les systèmes OLAP et autres bases spécifiques
  • Les fichiers plats, comme ceux délimités par des tabulations, points-virgules ou encore des feuilles de calcul
  • Des technologies de messaging inter-applicatives comme des EMS (Enterprise Messaging Systems), XML et JSON
  • Des protocoles spécifiques à l’industrie (pour les secteurs de la santé ou de la finance, par exemple)
  • EAI (Enterprise Application Integration) et services de données
  • Intégration avec les applications d’entreprise comme les ERP et les CRM
  • Intégration avec les applications SaaS
  • Intégration avec les applications mobiles
  • Données non structurées, comme celles liées aux media sociaux et les emails
  • Les protocoles propriétaires pour communiquer avec des capteurs ou encore mainframes.
• Ecrire des données vers des systèmes cibles. Les outils d’intégration de données doivent être capables d’insérer, de modifier et de supprimer des données sur les systèmes cibles. Par exemple, les entrepôts de données ou les bases de données opérationnelles qui associent les données de plusieurs sources pour effectuer des traitements transactionnels.
• Interagir avec les sources et les cibles. Une solution d’intégration doit supporter beaucoup de méthodes de capture et de diffusion des données. L’ingestion en temps réel et le streaming doivent aussi être une fonction standard, tout comme l’acquisition de données à partir d’événements.
• Transformer les données. Les fonctions de bases de manipulation de données sont ici clé, comme la conversion des types de données, des chaînes de caractère, les fonctions mathématiques, etc. C’est aussi le cas pour les fonctions de data mapping (join, merge, lookup, aggregate) et de workflow. De plus, les solutions doivent aussi proposer l’orchestration de workflow.
• Un développement efficace. Une autre fonction clé est l’interface graphique de développement qui facilite la création de workflow d’intégration et de mapping de la source vers la cible. Cela peut aussi être accompagné par des fonctions de gestion des développements, comme le contrôle de version, le test et la possibilité d’ajouter des commentaires. Les solutions d’intégration de données doivent aussi proposer des fonctionnalités interactives de test et de debugging, et la capacité de créer des composants ré-utilisables.
• Fournir plusieurs options de déploiement. Une plateforme d’intégration de données doit supporter des modèles opérationnels, à la fois sur site et dans le Cloud – soit via des offres hébergées soit sous la forme SaaS. Les serveurs virtualisés et les environnements distribués doivent aussi être pris en compte.

Si, certes, les fonctions listées ci-dessous ne sont pas des « must-haves », elles peuvent toutefois accroître la productivité des développeurs dans la création de processus de transformation de données :

• Le support des dimensions à évolution lente (SCD – Slowly changing dimension)
• Personnalisation des logs et gestion des erreurs
• Parsing des chaînes de caractères
• Traitement des jeux de données.

D’autres fonctions, que l’on pourrait classer comme « should-haves » - les fonctions qu’il devrait y avoir – porte sur le support d’outils de gestion et de développement par équipe et  de gestion des releases. Un stockage à base de repository et le traitement des méta- données en sont d’autres.

Parmi les fonctions classées comme utiles, on retrouve :

• Génération automatique de la documentation avec une représentation graphique des workflows
• Outils de profiling de données pour analyser l’information dans les sources et les cibles
• Outils de qualité de données pour nettoyer et enrichir
• Intégration avec d’autres outils de monitoring, de gestion et de développement
• Parallélisation des processus d’intégration et chargement des données.

Autres critères à prendre en compte

Les éléments listés ci-dessous sont souvent inclus dans les critères d’évaluation. Mais puisqu’ils sont subjectifs, il est important de gauger leur pertinence dans votre entreprise :

• Les performances de chargement. Cela peut varier en fonction de la complexité des processus d’intégration, des systèmes sources et du volume de données. La bonne pratique est de créer plusieurs scenarii d’intégration pré-établis et de comparer comment se comportent les différents produits.
• Dimensionnement. Vous pouvez aussi accompagner les tests de performance de stress tests qui simulent une croissance anticipée du nombre et de la taille des sources et des cibles.
• Faciliter d’utilisation. Cela peut varier selon les compétences et les connaissances des développeurs.
• Formation au produit. Cela peut comprendre des programmes de formation, physique, en ligne, en direct ou pré-enregistré.
• Documentation et support. Les développeurs peuvent avoir accès à une aide en ligne ou une documentation technique. La méthode apportée par le fournisseur (Q&A en ligne, chat, discussions avec des agents et sur site) et leur tarification doivent aussi être prises en compte dans l’évaluation.

Traduit et adapté par la rédaction