EDR : Arc4dia dresse un bilan mitigé de la première campagne de test de NSS Labs

NSS Labs vient de publier les résultats de sa première campagne de tests de solutions de détection et de remédiation (EDR) sur les hôtes de l’infrastructure, serveurs comme postes de travail. Un peu maigres, avec seulement quatre concurrents évalués, les résultats n’ont pas été tendres avec Arc4dia. Mais celui-ci ne s’en prend pas à un NSS Labs occupé à plusieurs passes d’armes avec des éditeurs de solution de protection des hôtes (EPP). Dans un billet de blog, Pierre Roberge, Pdg d’Arc4dia, apporte son regard, posé et structuré, sur l’exercice.

Il explique ainsi que les tests ont essentiellement porté sur trois axes : la détection, les faux positifs et le reporting. Et de souligner que sa solution, Snow, « a réalisé de très bonnes performances dans deux de ces trois catégories, et plus précisément en […] détection des exploits et évasion, deux sous-catégories qui recouvrent exploits d’exécution de code, évasion des contrôles de sécurité du système d’exploitation, documents piégés, et menaces masquées ». Pierre Roberge se félicite également de l’absence de faux positifs générés par Snow.

En fait, là où Snow a été pénalisé, c’est dans le domaine du reporting à fins d’investigation. Et pour le Pdg d’Arc4dia, il y a une bonne raison à cela : « nous nous concentrons sur la recherche et la détection de maliciels, plus que sur le reporting ». Et les résultats, dans ce domaine, étaient assortis d’un poids plus élevé que pour les autres catégories. Une différence de philosophie marquée car, avec Snow, « l’un de nos principaux objectifs est d’avoir un EDR très léger, avec peu d’impact sur le CPU et l’utilisation des ressources comme la batterie ». A cela s’ajoute la recherche d’une augmentation aussi limitée que possible de la surface d’attaque, de même que de l’intrusivité : « pour ces raisons, nous limitons la surveillance aux activités système pertinentes nécessaires pour déterminer » une malveillance. Et aucun point n’était donné pour cela dans le protocole de cette première campagne de test.

Pour Pierre Roberge, cette approche spécifique à Arc4dia est également à l’origine du TCO avancé par NSS Labs dans son évaluation : le coût d’exploitation estimé par le laboratoire tient compte de ce qu’il estime être une charge supplémentaire découlant des capacités de reporting qu’il juge limitées. Mais, « pour une solution administre et hébergée en interne, sur trois ans, et pour 500 hôtes », il faut compter un coût de licences de l’ordre de 250 $ par hôte, précise-t-il.

Au final, Pierre Roberge ne ferme pas la porte à la participation d’Arc4dia à une nouvelle campagne de test. Mais il appelle à des évolutions de la méthodologie de test et pondération des scores, ainsi qu’à plus d’informations dans la grille de résultats accessible publiquement et gratuitement.