Protection du poste de travail : NSS Labs attaque plusieurs éditeurs

Des standards discutés

L’AMTSO compte de nombreux éditeurs parmi ses membres, ainsi que des laboratoires de test, dont AV-Comparatives, AV-Test, ICSA Labs, MRG Effitas, SKD Labs, et NSS Labs. Mais pour Vikram Phatak, la définition de standards « justes et utiles » par l’organisation est « pilotée par ces mêmes éditeurs dont les produits sont testés » et non pas par « un tiers indépendant, neutre, plaçant la barre plus haut ». Autrement dit, selon le patron de NSS Labs, la voix des laboratoires de test n’aurait pas tant de poids que cela au sein de l’AMTSO.

Mais Vikram Phatak va plus loin. Il accuse des éditeurs « de boycotter collectivement les organisations de test qui ne se conforment pas à leurs standards de l’AMTSO, jusqu’à bloquer l’acquisition et le test indépendant de leurs produits ». Certains vont même insérer des clauses dans les conditions d’utilisation de leurs produits interdisant les tests sans autorisation préalable.

Ce que le patron de NSS Labs dénonce comme un comportement « contraire à l’éthique et trompeur, qui entrave la transparence et empêche les consommateurs d’évaluer si un produit tient ses promesses ». NSS Labs et CrowdStrike se sont ouvertement opposés par le passé. Début 2017, l’éditeur a ainsi engagé une procédure en justice contre le laboratoire, l’accusant d’avoir « accédé de manière illégale à [son logiciel], contrevenu à [son] contrat [de licence], piraté [son] logiciel » et conduit des tests de sécurité « inappropriés ».

Dans un billet de blog, CrowdStrike assurait alors s’élever contre la méthodologie de NSS Labs, la qualifiant « d’erronée ». En outre, l’éditeur envisageait initialement un test privé et s’était opposé à un test public. La justice américaine a décidé de ne pas suivre les arguments de CrowdStrike. NSS Labs a finalement publié les résultats de ses tests à l’occasion de l’ouverture de l’édition 2017 de la conférence RSA.

Pour l’édition 2018 de son rapport sur l’efficacité des solutions de protection des postes de travail, NSS Labs a laissé celle de CrowdStrike à l’écart. Mais, Eset et Symantec y figurent bien, même si leur positionnement n’est pas des plus flatteurs, par rapport à de nombreux concurrents ; un déclassement sévère par rapport à 2017.

Une industrie tumultueuse

Symantec n’a pas réagi ouvertement à ces résultats. Mais Eset ne s’en est pas privé. Dans un billet de blog, Tony Anscombe, évangéliste, dénonçait tout d’abord des tests conduits sans invitation préalable, mais également des inexactitudes dans l’édition précédente, non corrigées publiquement « malgré leur accord d’y remédier au cours d’une réunion en avril 2017 ». Surtout, selon lui, « certains éditeurs ont payé pour passer un pré-test ; les éditeurs qui ont été invités [au préalable] ont eu l’opportunité d’optimiser la configuration de leur produit, et ont pu contester les résultats pour améliorer le score de leur produit ».

NSS Labs a annoncé, fin mai dernier, le lancement de sa nouvelle campagne de tests de produits de protection des points de terminaison. Le ton est peut-être monté à cette occasion. En tout cas, ce n’est pas la première polémique qui agite ce petit monde en pleine transformation.

En 2016, Cylance a ainsi dénoncé les pratiques de certains spécialistes du test, dont MRG Effitas et AV-Comparatives. Ces derniers ont assuré que l’éditeur cherchait à révoquer leurs licences, sans les rembourser. Cylance a de son côté dénoncé des pratiques « contraires à l’éthique » alors que les deux laboratoires cherchaient à cacher leur véritable identité à coups de VPN et de fausses adresses e-mail…