Sophos relance la polémique autour de Cylance

Tout a commencé par un billet de blog publié par Sophos et visant à comparer ses outils de protection contre les logiciels malveillants avec ceux de Cylance, dans une vidéo. Graham Cluley s’en est fait l’écho sur Twitter et l’accueil n’a pas été forcément très chaleureux. Snorre Fagerland, de Blue Coart, s’est ainsi montré dubitatif : « pas sûr que les tests conduits soi-même contre des concurrents nommés soit la voie à suivre ». Un autre spécialiste du secteur s’est quant à lui clairement montré déçu par la conduite de Sophos. Pour lui, « attaquer ainsi son concurrent n’est pas éthique, peu importe si l’attaque est justifiée ». Pour Konrāds Šmeļkovs, Sophos n’aurait en outre pas utilisé un échantillon de logiciel malveillant tout frais, « disons vieux d’une heure ».

Sophos is taking a swing at "next gen" security upstart Cylance... https://t.co/LpHDKsskf9

— Graham Cluley (@gcluley) June 23, 2016

Dans un billet de blog, Cylance n’a pas manqué de réagir, indiquant prendre « ces attaques comme une marque de respect pour ce que nous avons accompli ». Mais l’éditeur n’en dénonce pas moins le procédé : « il est facile de créer une vidéo anti-Cylance ». Et de détailler la « recette » avec, en particulier deux étapes : « exécuter chaque produit sur un vaste ensemble d’échantillons [de logiciels malveillants] et précautionneusement retirer chaque script, exploit et logiciel malveillant que rate votre produit. Modifiez les réglages de Cylance Protect pour désactiver certaines fonctionnalités clés telles que la protection de la mémoire et le contrôle des scripts ou, à minima, placez-le en mode alerte seule ».

Faute d’avoir pu consulter la vidéo ou vérifié les conditions de test, il est plus que difficile d’émettre un quelconque jugement. Mais Cylance affirme que son concurrent a testé son outil de protection alors que des fonctions clés avaient été désactivées volontairement : « la vidéo ne cachait aucune donnée. Cela a permis a Cylance de retracer facilement les étapes, d’identifier le partenaire [ayant aidé à sa création], d’examiner les règles appliquées aux comptes, et de prouver que la vidéo résultante était frauduleuse ».

La vidéo n’est plus disponible en ligne. Cylance reconnaît avoir demandé à son partenaire impliqué de la supprimer. Sophos, de son côté, évoque des menaces à l’encontre du revendeur concerné, « craignant des poursuites ». Et d’assurer avoir voulu « réaliser une comparaison juste, factuelle, et équilibrée, en utilisant des réglages par défaut et recommandés par l’éditeur », sans manipuler ni choisir les échantillons de logiciels malveillants utilisés.

Ce n’est pas la première passe d’armes qui oppose Cylance à un éditeur d’antivirus traditionnel. Il s’est largement comparé à ses concurrents plus traditionnels, notamment à l’aide de vidéos publiées sur YouTube : McAfee, Kaspersky, Eset ou encore Symantec. Et ce dernier compte parmi ceux qui n’ont pas vraiment goûté l’exercice.

Symantec affirme ainsi, dans un billet de blog de la toute fin du mois de décembre, s’être lui-même comparé à Cylance Protect, revendiquant un environnement de test plus réaliste. Et là, « Cylance a bien fonctionné, mais pas aussi bien que Symantec ». Et de dénoncer en particulier « un nombre élevé de faux positifs ». Mais l’éditeur assure que l’outil de Cylance « n’analyse que les types de fichiers exécutables », laissant de côté « certains fichiers document standards tels que DOC et PDF ».

Plus préoccupant, Symantec affirme que dans certains cas, le logiciel malveillant détecté par son concurrent « reste fonctionnel et actif en mémoire » : Cylance Protect aurait donc ainsi besoin de fonctionner conjointement avec un autre outil de protection, doté de capacités de remédiation plus étendues.

Sophos - qui a lui-même fait évoluer son offre au-delà des traditionnelles listes de signatures - indique aujourd’hui que Cylance ne l’a pas contacté directement pour réfuter les résultats de son test et assure être ouvert à une « conversation constructive pour discuter méthodes et configurations de test ». Et de reprocher à son jeune concurrent d’être « virtuellement absent de tous les tests tiers publics », à l’exception d’un, un comparatif d’AV-Test, fin 2015.

Ce comparatif met en évidence un niveau de faux positifs significativement plus élevé que la moyenne de l’industrie en décembre – mais inférieur en novembre – ainsi que des performances plus faibles. Il montre aussi un niveau de détection de logiciels malveillants inédits de 98,3 % - contre 97,5 % en novembre – pour une moyenne de 97,9 %, et de 99,7 % - ou 100 % en novembre – pour les « logiciels malveillants répandus et prévalents au cours des 4 dernières semaines », contre 99,9 % pour l’industrie en moyenne.

Sophos assure enfin avoir demandé à MRG Effitas, en juin, de comparer ses produits avec ceux de Cylance sur des échantillons tous frais, « vieux de quelques minutes » : « Sophos en a bloqué 97 %, tandis que Cylance en a bloqué 91 % ». Le débat promet de continuer.