Observabilité : Elastic cherche à simplifier la collecte de données

Un agent unique qui n’en est pas un

Parmi les nouvelles fonctionnalités apportées par la version 7.9, l’éditeur met particulièrement en avant la bêta d’un nouvel « agent unique », Elastic Agent. En réalité, il ne s’agit pas d’un agent unique, mais d’une interface légère par-dessus des agents de transfert de données Beats. Cet outil doit simplifier la configuration unifiée et le déploiement automatique de ces services de collecte. L’outil s’occupe de la gestion des fichiers pour MetricBeat, FileBeat et d’autres. Les données sont stockées dans un gestionnaire d’index nommé Data Streams. Celui-ci donne des informations sur le type de données (logs ou métriques), leur provenance, la dernière collecte effectuée et l’espace de stockage occupé par ces fichiers.

Elastic Agent est couplé avec Ingest manager, un gestionnaire d’ingestion, (lui aussi en bêta) conçu pour simplifier les intégrations avec divers services et plateformes. Pour l’instant, cette interface basée sur Kibana supporte une quarantaine d’intégrations dont AWS, Kafka, Nginx, Redis, MySQL ou encore Cisco. Ingest Manager, lui, doit supprimer la nécessité de manipuler des fichiers YAML et JSON afin d’effectuer les configurations depuis un éditeur visuel et constituer plus rapidement des vues ainsi que des tableaux de bord.

En fait, Ingest Manager remplace et améliore Beats Central Management qui n’est plus officiellement supporté. Cette décision ferait suite aux retours et à l’observation des pratiques des clients d’Elastic, selon un article de blog.

Une simplification réclamée par les clients

Ces ajouts intéresseraient particulièrement CDL, un éditeur de services financier britannique. Il déploie Elastic pour plusieurs applications dans le secteur de l’assurance, de la finance ainsi que son logiciel phare de data intelligence : Hummingbird.

Le service de CDL ingère de grandes quantités d'informations en temps réel pour analyser des modèles de comportement, en utilisant les capacités de recherche d'Elastic pour examiner des données telles que les cotations d'assurance actives et l'historique des contrats. CDL utilise également la plateforme pour la centralisation des logs et des fichiers d'audit.

« Nos applications traitent quotidiennement d’énormes volumes de transactions et sont des systèmes hautement connectés. Il est donc essentiel pour nous d'avoir une visibilité centralisée grâce à un système qui rend les données accessibles via un moteur de recherche », explique Robert Trueman, responsable du génie logiciel chez CDL.

« Nos applications traitent quotidiennement d’énormes volumes de transactions [...]. Il est donc essentiel pour nous d'avoir une visibilité centralisée grâce à un système qui rend les données accessibles via un moteur de recherche »

Dans ce cadre, le nouveau gestionnaire d’ingestion serait le bienvenu. Robert Trueman note que CDL a besoin de ce type de fonctionnalités qui doivent permettre d’ajouter une source de données en quelques clics. En effet, le responsable évoque l’importance d’une telle gestion puisque les données proviennent de nombreuses sources, en croissance constante, et dépendent de formats différents.

Shay Banon, le PDG et fondateur d'Elastic, considère la nouvelle approche « d'agents unifiés » dans la stack Elastic comme une avancée majeure. Elle doit cependant être perfectionnée. À l’avenir, Elastic prévoit d’ajouter la compatibilité avec les APM et d’autres types de données. L’éditeur envisage d’y ajouter les centaines de modules Beats déjà développés.

Elastic Agent ne signe donc pas la fin des modules Beats, des agents APM, des terminaux de sécurité, etc. Il propose tout simplement un moyen pour faciliter leur déploiement. Par ailleurs, l’éditeur vient d’ajouter le standard OpenTelemetry pour Elastic APM. Pour l’instant, ce support n’est pas natif puisqu’il faut passer par Elastic Exporter pour rendre compatible les données en provenance des collecteurs OpenTelemetry avec les protocoles existants supportés par Elastic APM. L’éditeur promet également le support des métriques et des logs issus des composants OpenTelemetry. Enfin, la page Fleet doit faciliter la gestion de l’ensemble des services de collectes de données en indiquant l’état, la configuration actuelle et la version des agents déployés.

L'éditeur promet qu’Elastic Agent peut être utilisé pour différents cas d'usage, notamment pour explorer les logs et les métriques à des fins d'observabilité. La même interface peut également être utilisée pour configurer la surveillance des points d’accès. Pour rappel, Elastic a acquis Endgame en octobre 2019 pour 234 millions de dollars, un éditeur spécialisé dans la sécurisation des terminaux.

L’unification au nom de l’observabilité

« Nous avons un dicton chez Elastic : ‘Pendant que vous observez, pourquoi ne pas protéger ?’, assure Shay Banon. « Nous voulons donc apporter aux utilisateurs non seulement une expérience en un clic pour ajouter des données, mais aussi un clic pour ajouter une protection à tout endroit où vous avez un agent installé ».

Suivant cette approche, l'éditeur a présenté une nouvelle fonctionnalité pour Kibana : Elastic Observability. Cette page d'observabilité fournit une vue consolidée des logs et des métriques entrants provenant de différentes applications et de serveurs. Ces données sont alors regroupées dans un même datastore.

Il y a souvent une séparation claire entre les différents types de logs et métriques en provenance des applications et de l’infrastructure. Selon Shay Banon, Elastic essaye de brouiller cette ligne de séparation afin de respecter au mieux le concept d’observabilité des données.

« L’observabilité est un concept qui se concrétise parce qu’au bout du compte les données sont des données », affirme-t-il. « Que les utilisateurs obtiennent des informations à partir d’applications ou collectent des logs depuis des serveurs ou des métriques depuis un système, en fin de compte ils veulent s’assurer de pouvoir observer tout cela ».

Par ailleurs, Elastic a terminé la révision de l’architecture sous-jacente de Kibana. L’outil de visualisation doit normalement réduire considérablement les temps de chargement entre les pages Dashboards, APM, SIEM ou Maps.

Workplace Search accessible gratuitement

L’éditeur propose plusieurs éditions de sa plateforme, y compris des modèles de déploiement libre, d'entreprise et dans le cloud. Il a ainsi présenté de nouvelles options d’abonnement pour différents produits dont Elastic Cloud et Workplace Search.

Avec Elastic 7.9, l'éditeur intègre la fonctionnalité Workplace Search dans son tiers gratuit. Workplace Search a été dévoilé le 23 avril, lors de la conférence virtuelle Elastic{ON} Amérique de l’Est. Cette fonctionnalité doit permettre aux utilisateurs d'Elastic d'effectuer une recherche unifiée à travers leurs sources de données pour rechercher et trouver des informations pertinentes. Les clients des versions Platinum et Enterprise bénéficient eux de fonctionnalités supplémentaires, tandis que l’outil dispose maintenant d’une intégration avec Gmail.

« Les gens passent maintenant beaucoup de temps en ligne et nous pensons que notre produit Workplace Search correspond parfaitement à la manière dont ils travaillent », conclut Shay Banon.