Micro Focus mise sur son Data Lake ITOM pour fédérer les pratiques AIOps

Un lac de données pour unifier les produits Micro Focus

 « Plus qu’un data lake, il s’agit d’une data platform. Nous l’avons construit en nous appuyant sur la technologie de base de données Vertica. C’est elle qui offre un ensemble de bibliothèques pour les fonctions AiOps ou d’analytique », affirme Quentin De Sainte Marie.

Cette data platform, comme son nom l’indique, doit avant cela permettre l’acquisition des données (et métadonnées) issues des infrastructures et des applications, leur transport, leur transformation, leur stockage et le servicing. Cette même tendance s’observe chez les concurrents comme Splunk, Datadog ou New Relic.

« Le socle de cette plateforme containérisée est hébergé dans un environnement Docker-Kubernetes que l’on met à jour en respectant un cycle trimestriel », précise le consultant.

Le Data Lake ITOM repose donc sur un cluster Kubernetes. Il comprend deux briques de streaming d’événements. L’une est basée sur le protocole Netty, pour les informations en provenance de pages HTTP/HTTPS. La seconde est un Bus de messageries basé sur Pulsar et couplé à Zookeeper et Bookeeper. Le broker peut recevoir les données du premier récepteur et des API REST et les renvoyer vers d’autres API, un moteur de traitement Apache Flink, et vers des nœuds Vertica (Vertica, cédé par HPE en 2016) situés dans un cluster Kubernetes séparé.

Il est bien évidemment possible de traiter les données via Flink puis les transmettre au cluster Vertica auquel se connectent les bibliothèques et les outils BI et d’analytique de l’utilisateur. Il est également possible d’envoyer les données par batch ou programmer leur envoi via un scheduler vers la base de données analytique. Tous ces composants, hormis le cluster Vertica, dépendent de package Helm Charts.

« Concernant l’ingestion de données, nous sommes véritablement agnostiques. Nous proposons des connecteurs spécifiques à certains produits historiques de Micro Focus, mais aussi pour retrouver l’ensemble des données présentes dans le SI d’un client », assure Quentin De Sainte Marie.

Le consultant affirme même qu’il est possible d’étendre l’ingestion de données en dehors du périmètre classique de la supervision IT. « Nous avons des cas d’usage chez des clients qui corrèlent de l’expérience utilisateur avec les informations issues des réseaux sociaux pour l’analyse de sentiment, par exemple. » 

Le Data lake ITOM doit être capable d’accueillir les traces, les événements, les métriques, les fichiers de log, les APM, entre autres, issus de différents environnements. 

Par-dessus cette plateforme, Micro Focus veut greffer un ensemble de services intégrés dans des suites logicielles thématiques qui communiquent avec la plateforme via API. Aujourd’hui, COSO est le socle des produits ITOM. Micro Focus a récemment adossé trois suites à son data lake : Operations Bridge, Network Operations Management et Data center Automation.

Les cas d’usage AIOps évoqués sont divers. Ils tournent autour de l’analyse, de la corrélation automatisée de données, du déploiement d’algorithmes de machine learning de détection d’anomalies, en passant par la recommandation de remédiation ou l’automatisation des corrections.

Network Operations Management, lui doit faciliter la gestion, l’automatisation et assurer la conformité des réseaux physiques, virtuels et SDN. Data Center Automation, elle, est une suite dédiée à la vérification de conformité et de détection de vulnérabilités dans les composants d’un SI (plateformes containerisées, systèmes d’exploitation virtuels ou non, base de données, middleware, serveurs, VM, etc.).

OpsBridge gagne des capacités analytiques transverses

Operations Bridge est justement la suite d’outils AIOps pour la surveillance automatisée des événements et des environnements hybrides.

La solution doit aider à surveiller les environnements PaaS, IaaS, Kubernetes, plus traditionnels (bases de données Oracle, ERP SAP, etc.), les services AWS, Google, Azure, mais aussi extraire les informations disponibles dans d’autres outils de supervision et d’observabilité comme Dynatrace, Appdynamics ou Splunk. Les outils ITSM ServiceNow, BMC ou encore ceux d’IBM sont également des sources de données.

« Il s’agit d’une capacité historique d’Operations Bridge : nos clients ont l’habitude de corréler les données issues d’un Appdynamics, d’un Dynatrace ou d’un Splunk. D’ailleurs, certains clients n’ont aucune solution de collecte Micro Focus et utilisent Operations Bridge comme un chapeau pour fédérer l’ensemble de ces données », rappelle l’architecte.

« Ce que nous offrons en plus désormais, c’est cette data platform. Auparavant nous étions sur des SGBD traditionnels pour chacun des types de données. Désormais, les mécanismes de reporting et d’analytiques sont beaucoup plus transverses », vante Quentin de Sainte Marie. C’est justement ce que certains clients reprochaient à Micro Focus en 2019, sur la plateforme G2, ainsi que le manque de connectivité ou l’intégration difficile avec certaines applications tierces ou outils legacy.

 La suite doit faciliter la découverte automatique des composants d’un SI. OpsBridge contient aussi plusieurs techniques pour réduire les bruits des événements (suppression des doublons, gestion via un moteur de règles, etc.). La console embarquée comprend une capacité pour détecter les schémas afin d’identifier plus rapidement des problèmes récurrents.

Concernant la remédiation automatisée, Micro Focus entend offrir 8 000 runbooks sur étagère, compatibles avec plus de 300 composants applicatifs et plus de 80 intégrations avec des produits disponibles sur le marché (Workday, Office-Dynamics 365, Salesforce, Citrix, etc.). Pour les éléments inconnus du système, un moteur d’orchestration nommé Operations Orchestrations, également utilisé par les runbooks, doit permettre de créer les règles adaptées.

Kubernetes, gage de flexibilité

Le Data Lake ITOM peut être déployé sur site ou sur les environnements Kubernetes, dans le cloud choisi par le client (selon le principe du BYOK, ici pour bring your own Kubernetes), pour l’instant AWS, Azure et bientôt d’autres fournisseurs. Micro Focus ne fournit pas encore un support pour toutes les distributions de l’orchestrateur, mais s’y attelle, promet Quentin De Sainte Marie.

« Nous pouvons opérer les plateformes de nos clients à travers une offre de services managés via notre entité “professionnal service” ; ils peuvent acheter une licence perpétuelle pour une livraison sur site et faire appel à nous ou des partenaires pour des services supplémentaires et nous offrirons prochainement une version SaaS », liste-t-il.

Pour les clients existants des solutions citées, Micro Focus promet qu’il n’y a pas de surcoût de licence. Par ailleurs, le lac de données est compris dans la licence des produits cités ci-dessus. Il faut toutefois déployer la nouvelle solution et connecter les sources de données aux Messaging Bus de streaming Pulsar via les connecteurs et API fournies par l’éditeur.

Plusieurs clients français auraient déjà adopté, ou sont en train de tester la nouvelle infrastructure dont « un acteur majeur français de la finance » ou encore « une multinationale de services et équipements pétroliers ».

Le déploiement de cette nouvelle architecture semble plus adapté aux clients qui utilisent plusieurs outils estampillés Micro Focus. En 2019, certains clients considéraient qu’Operations Bridge était difficile à déployer et à gérer, ce qui a, semble-t-il, influencé le changement de paradigme vers une approche unifiée et des pratiques DevOps chez Micro Focus. Enfin, les produits de Micro Focus sont réputés pour être plus chers que ceux de la concurrence, malgré une baisse significative des coûts de maintenance, mais les analystes et les clients s’entendent sur la qualité des fonctionnalités AIOps de l’éditeur.