Datadog veut superviser les environnements hybrides

Place au monitoring hybride

S’il y a peu l’entreprise a dévoilé ses avancées quant à l’intégration de Sqreen, une startup française spécialisée dans la détection de menaces de sécurité, elle évoque désormais l’imbrication de Timber, une autre acquisition récente de Datadog.

Pour rappel, Timber a fondé le projet open source nommé Vector. Cette architecture de pipeline développée en Rust doit collecter et transformer les données de télémétrie, puis les envoyer vers les plateformes de supervision, telles que Datadog, mais aussi Splunk, FireEye, New Relic ou encore Grafana.

Au sein de Datadog, Timber devient Observability Pipelines et est accessible en bêta privée. Là encore, le fournisseur propose à ses clients de déployer les pipelines Vector au sein de leurs infrastructures sur site et dans le cloud afin de collecter et trier les données avant de les transmettre à un outil d’analyse.

Les transformations doivent permettre de réaliser des échantillonnages, des réductions, de chiffrer ou encore d’enrichir les données. L’éditeur n’a pas limité les possibilités de Vector et les clients peuvent continuer à verser leurs logs où bon leur semble (tant que des connecteurs sont disponibles).

Pour autant, Olivier Pomel mise pleinement sur l’uniformisation de l’observabilité sur une seule plateforme, idéalement celle de Datadog.

« Nous entrons dans une deuxième phase de la migration vers le cloud », affirme-t-il auprès du MagIT, en amont de Dash 2021. « Au fur et à mesure que les entreprises atteignent la masse critique de leur migration vers le cloud, elles se posent la question de ce qui va rester dans leur data center ad vitam aeternam », ajoute-t-il.

Selon le PDG, certains pans de SI existants ne sont pas près de disparaître. « Les mainframes ont survécu jusque-là et ils survivront peut-être à une vague de plus », anticipe-t-il. En revanche, cela n’empêcherait pas les entreprises de miser sur la standardisation des outils et des processus. « Quand leurs ingénieurs passent 90 % de leur temps sur Datadog, les entreprises peuvent trouver davantage de valeur à centraliser le management même si les workloads demeurent sur site », estime Olivier Pomel.

« Quand leurs ingénieurs passent 90 % de leur temps sur Datadog, les entreprises peuvent trouver davantage de valeur à centraliser le management même si les workloads demeurent sur site ».

C’est surtout un moyen pour Datadog d’atteindre un segment du marché qu’il n’occupait pas auparavant, alors que d’autres spécialistes de la supervision, tels Splunk ou Cisco, y sont de longue date. Pour l’instant, cela passe par le recueil de nouvelles données, notamment via Observability Pipelines.

« Cela nous permet d’accéder à un bon nombre de données qui, auparavant, résidaient sur des systèmes internes, mais Observability Pipelines place nos clients dans une situation de contrôle complet puisqu’ils choisissent exactement les données et les champs de données qu’ils poussent vers notre plateforme », assure Olivier Pomel.

Concernant les applications, Datadog a mis à jour Synthetic Private Locations, un outil pour effectuer des tests synthétiques sur des logiciels déployés sur site ou dépendantes d’URL privées depuis des conteneurs Docker. L’éditeur entend améliorer la supervision de ces environnements de test déployés localement conçus pour envoyer les données synthétiques vers la plateforme de télémétrie.

Post mortem et obfuscation

Et comme Splunk avec Flex Index, Datadog annonce Online Archives, une solution d’entreposage des logs, pour l’instant en accès limité, permettant de les conserver à prix réduit tout en continuant de les interroger pendant 15 mois « ou plus ». Selon Datadog, emmagasiner à froid des logs pendant 15 mois avec Online Archives coûterait autant que de les indexer pendant un mois.

Ce rapprochement des fonctionnalités avec Splunk n’inquiète pas le PDG. « Toute l’industrie se tourne dans la même direction. Notre travail, en tant que fournisseurs de services, est de donner le plus d’options possible aux clients afin de stocker leurs données suivant leurs usages ». Aussi, le dirigeant assure que lui et ses collaborateurs préfèrent se concentrer sur l’activité de l’entreprise plutôt que celle des compétiteurs. Un discours entendu.

Datadog proposait déjà la possibilité de stocker les logs au sein de services de stockage objet. En effet, en 2019, l’entreprise avait présenté un service nommé Log Rehydration. Ici, un formatage spécifique doit permettre de continuer à effectuer des requêtes sur des logs à des fins d’analyse historique, de post mortem après un incident ou d’investigation en cas de brèche de sécurité. « Certains de nos clients souhaitaient mener des enquêtes internes ou encore analyser des problèmes de sécurité. Pour cela, ils ont besoin d’explorer des données sur plusieurs années », justifie Olivier Pomel.

Pour agir de manière proactive, la plateforme sera prochainement dotée d’une fonction de détection des informations sensibles (Sensitive Data Scanner) reposant sur un moteur de règles. L’outil doit permettre de détecter des numéros américains de sécurité sociale (SSN), des numéros de carte de crédit, des IBAN/BIC, des clés API, des tokens d’authentification, des adresses mail dans des applications. Ce scanner s’appuie sur un procédé de filtrage par motif (pattern matching) basé sur un système de streaming afin d’appliquer par la suite des règles d’obfuscation par hash, ou par remplacement avant de stocker les logs dans Datadog. En clair, si l’entreprise souhaite masquer ou chiffrer ses informations sensibles dans ses systèmes, elle devra le faire elle-même. Tout comme Observability Pipelines, le service permet de masquer les parties de logs confidentiels uniquement dans la plateforme Datadog ou dans Online Archives.

Faire baisser les tarifs selon les usages

Datadog partage un autre point commun avec Splunk : certains clients lui reprochent son modèle de tarification. Si certains s’en accommodent et apprécient l’étendue des fonctionnalités, d’autres n’ont pas été satisfaits par la facture, comme un usager l’indiquait le 16 septembre 2021 sur Gartner Peer Insights.

« J’ai pu déployer rapidement ce produit dans un conteneur et le configurer pour qu’il soit opérationnel. La surveillance a été efficace et les rapports très riches », écrit ce responsable de la supervision applicative d’une ETI qui considère la solution de Datadog comme innovante et facile d’utilisation.

« L’extension de ce produit à l’échelle d’une entreprise, l’intervalle des requêtes sont devenus des obstacles […] nous avons migré vers une autre solution. Nous avons trouvé plusieurs exemples de solutions équivalentes en termes de fonctionnalités et 50 % moins chères à des intervalles de surveillance très rapprochés », ajoute-t-il. Les témoignages des SRE, DevOps et autres administrateurs système membres de grands groupes, sont souvent dithyrambiques sur Gartner Peer Insights.

D’ailleurs, Olivier Pomel semble confiant sur les performances de son entreprise. Si le PDG ne peut dévoiler les chiffres qui seront présentés le 4 novembre prochain lors d’une conférence avec les investisseurs, il assure que Datadog « grandit plus vite que [ses] concurrents. Nous prenons des parts de marché à tout le monde. Nous avons été les premiers à unifier les usages sur une seule plateforme et nous continuons à repousser les limites de ce qui peut être proposé dans cette plateforme ».

« Nous prenons des parts de marché à tout le monde.  ».

Datadog semble toutefois conscient de cette problématique du coût. L’arrivée de fonctionnalités comme Observability Pipelines et Online Archives est aussi là pour alléger la facture : pouvoir diminuer la taille des index et échantillonner les données à façon doit idéalement aider les entreprises à mieux maîtriser les coûts de l’observabilité. C’est déjà la pratique en vigueur chez un client de l’éditeur : Nexity.

Datadog pense aux FinOps

Et si la supervision demeure coûteuse, Datadog compte bien convaincre ses clients avec ses fonctions FinOps pensées pour l’analyse des services cloud. Disponible en bêta, Cloud Cost Management doit permettre aux responsables FinOps, voire les équipes en charge des finances, de surveiller le coût des infrastructures et des applications cloud. « Le travail du FinOps est difficile parce qu’il est complexe d’avoir des données propres sur ce qui génère les coûts », affirme Olivier Pomel « Nous allons ingérer les données de facturations et nous allons les croiser avec les données d’utilisation, c’est-à-dire des métriques métiers », ajoute-t-il. Ces métriques renseignent les équipes IT sur les ressources consommées par les applications internes et les services proposés aux clients.

Selon le PDG, la facture du cloud peut augmenter pour de bonnes ou de mauvaises raisons, suivant si l’activité d’une organisation fleurit ou si ses systèmes sont plus gourmands en ressources qu’à l’accoutumée. Il s’agit à la fois d’informer les responsables des achats et les équipes IT, afin de remédier aux surcoûts générés par certains projets. Pour l’instant, Cloud Cost Management est compatible avec AWS, mais devrait prochainement l’être avec GCP et Azure, si l’on en croit le formulaire d’inscription à la bêta.