Controverse autour d’une étude sur l’efficacité des BDS

C’est une brutale guerre des mots que vient de déclencher une nouvelle étude sur l’efficacité des systèmes de détection de violation de sécurité (Breach Detection System, ou BDS), notamment autour de la manière de tester ces produits, sans la coopération de leurs constructeurs.

Le cabinet de conseil en sécurité informatique indépendant NSS Labs a ainsi récemment testé six des principaux BDS du marché, avant de publier les résultats de ses travaux. Dans son rapport, NSS Labs accorde des évaluations positives aux produits signés Cisco/Sourcefire, Trend Micro, Fidelis et Fortinet, mais place les produits de FireEye et d’AhnLab dans la catégorie « méfiance ». Terme qu’il convient de comprendre ainsi : « valeur ajoutée limitée compte tenu du TCO sur trois ans et du niveau d’efficacité mesuré. »

Dave Merkel, directeur technique de FireEye, s’est aussitôt insurgé contre ces résultats, soulignant que les produits de son entreprise ont découvert 11 des 13 vulnérabilités inédites (ou zero-day) connues pour avoir été exploitées en 2013. « Les tests en laboratoire sont fondamentalement incapables de reproduire les attaques ciblées et avancées lancées par les réseaux criminels sophistiqués et par les Etats-nations, » affirme-t-il ainsi dans une déclaration à la presse.

Dans un billet de blog publié début avril, Manish Gupta, vice-président senior de FireEye en charge des produits, a apporté une réponse plus approfondie à l’étude de NSS Labs. Et d’indiquer avoir participé à un précédent processus de test avec le cabinet en 2013, avant d’abandonner, critiquant des « failles dans la méthodologie de test. » Selon Gupta, le produit FireEye testé a détecté 201 des 348 échantillons de logiciels malveillants injectés lors du premier test; l’équipementier estimant que 177 des échantillons restants étaient des doublons, et 19 étaient corrompus. Les 11 derniers échantillons étaient considérés par FireEye comme non malicieux.

Mais Gupta critique surtout une approche reposant sur des échantillons de logiciels malveillants connus, dont la plupart viendraient selon lui du service gratuit d’analyse de logiciels malveillants VirusTotal, et faisant l’impasse sur les attaques inédites pour l’identification desquelles les produits FireEye sont réputés. En outre, les chercheurs des NSS Labs n’avaient pas accès au service Cloud Dynamic Threat Intelligence de FireEye durant leurs tests, réduisant l’efficacité des produits testés.

« Nous respections NSS et leur travail - en particulier pour les IPS. Mais leur méthodologie de test est mieux adaptée au test des IPS qu’à celui des BDS, » estime Gupta, ajoutant au passage penser que « les problèmes qu’ils ont identifiés dans leurs évaluations concernant les menaces avancées sont révélateurs du manque de connaissance de l’industrie en général quant aux attaques sophistiquées. »

NSS Labs : un modèle « payer pour participer » ?

Mais alors que FireEye concentre ses critiques sur les méthodes de test de NSS Labs, Nir Zuk, directeur technique de Palo Alto Networks, affirme pour sa part que le cabinet s’appuie sur un modèle du type « payer pour participer » afin de rentabiliser de telles études. Dans un entretien accordé à CRN.com, Zuk a ainsi indiqué que NSS Labs fournit des droits de réimpression aux équipementiers mentionnés dans ses études pour leur permettre de publier eux-mêmes les résultats des tests. Le tout moyennant des droits de licences pouvant dépasser les 100 000 $ pour des tests dont les résultats n’ont pas encore été rendus publics. Cette pratique, selon lui, permet aux « fournisseurs médiocres » d’être plus compétitifs.

« Vous ne voulez pas faire une étude autour de deux fournisseurs; vous en faites une sur dix, et vous leur facturez chacun 100 000 $ —- c’est comme cela qu’ils font de l’argent », a ainsi affirmé Zuk à CRN.Com. « Et si vous placez la barre très haut pour vos tests, et que seulement un ou deux fournisseurs passent les tests avec succès, plus personne ne va vouloir payer. » Interrogé par SearchSecurity.com (groupe TechTarget), un porte-parole de FireEye a indiqué que le billet de blog de Gupta « rassemble de manière assez complète nos objections aux tests » et s’est refusé à tout autre commentaire.

Vikram Phatak, Pdg de NSS Labs, a balayé les allégations de Zuk, soulignant que ce dernier avait été contraint, par le passé, de présenter des excuses au cabinet après avoir formulé des remarques similaires. « Nous ne prenons pas un seul penny. A chaque fois que nous faisons un test public, que nous publions un contenu, c’est sans que de l’argent ne change de mains », affirme ainsi Phatak. Pour autant, il n’est ni rare ni incongru que les mieux classés acquièrent des droits de reproduction, « mais c’est comme lorsque quelqu’un est bien classé dans Consumer Reports ou dans le Magic Quadrant de Gartner. »

Et en réponse aux critiques de FireEye, Phatak insiste sur le fait que l’entreprise était « pleinement consciente » que ses produits étaient testés, et que ses ingénieurs ont été impliqués dans le processus de déploiement sur les sites de test du cabinet. Et de souligner en outre que toutes les informations produites dans le cadre des tests avaient été transmises aux fournisseurs concernés avant la publication de l’étude. Ceux-ci avaient donc la possibilité de commenter les résultats avant qu’ils ne soient rendus publics.

Quant aux critiques relatives aux échantillons de logiciels malveillants utilisés pour les tests, Phatak assure que FireEye est le seul fournisseur à avoir soulevé le sujet.

Une approche agnostique du test des produits de sécurité

Dans son étude, NSS Labs a entièrement noté les systèmes BDS sur leur capacité à détecter des attaques passées au travers d’antivirus ou d’IPS, selon Phatak. Et d’expliquer avoir accordé du crédit aux produits à condition qu’ils détectent l’attaque à chacune des cinq étapes qu’il considère comme faisant partie du processus d’exploitation, depuis l’infection initiale jusqu’à la connexion du logiciel malveillant à son infrastructure de commande et de contrôle. Phatak assure que ce processus de test a été basé sur les demandes des clients entreprises de NSS Labs, simplement désireux de disposer d’une meilleure connaissance des violations de sécurité dans leurs environnements.
« En fait, s’il avait une sixième voie, dont nous n’avions pas connaissance, et qu’elle permette de détecter quelque chose, parfait, » assure Phatak. « Que l’on retrouve dans les logs la trace de la détection d’une infection. C’est tout ce qui nous importe. Et c’est une approche très agnostique. »

Al Huger, directeur sénior de l’ingénierie au sein de la division sécurité de Cisco, dont le produit Sourcefire AMP a été testé par NSS Labs, décrit le processus de test comme « complet, » en particulier comparé à ceux d’autres laboratoires de test privés qui donnent souvent la possibilité aux participants d’améliorer leurs résultats avant qu’ils ne soient finalisés. Et d’expliquer que NSS Labs travaille avec les fournisseurs pour s’assurer d’une configuration initiale correcte, mais pas plus.

Les échantillons de logiciels malveillants utilisés par les chercheurs de NSS Labs étaient en outre parfaitement adaptés à ce type d’évaluation, selon Huger : ils ont été sélectionnés à partir de campagnes d’attaque en cours sur le Web au moment des tests. Et ces derniers sont allés au-delà de la reproduction de simples scénarios connus : « cela a concerné l’ensemble du cycle de vie d’une menace, depuis l’exploitation sur le réseau, jusqu’au point terminal, et de retour en ligne, » explique Huger. « C’était identique à ce que l’on observe dans les entreprises de nos jours. Seul le volume de logiciels malveillants traités était différent pour les tests. »

In fine, Phatak estime que le produit de FireEye ne s’est tout simplement pas aussi bien comporté que ceux des autres fournisseurs. Mais compte tenu des compétences des équipes de FireEye, il s’attend à ce que l’équipementier investisse plus en recherche et développement et revienne avec un produit plus performant pour les prochains tests. « Franchement, FireEye est une entreprise cotée. Il est assez choquant de les entendre dire des choses qui sont si ouvertement et complètement fausses, » conclut Phatak.

Adapté de l’anglais par la rédaction