Pare-feu de nouvelle génération : les surprises des tests de NSS Labs

Des leaders déclassés

Forcepoint et Fortinet ressortent grands gagnants de l’exercice, tous deux à plus de 99 % d’efficacité dans le blocage des exploits, et aucune tentative d’évasion réussie. Le second constructeur apparaît légèrement avantagé par un coût total de possession à trois ans par Mbps couvert à moins de 5 $, contre de l’ordre de 7 $ pour le premier.

Palo Alto Network et SonicWall figurent également dans ce club des constructeurs de produits très performants à sensiblement moins de 10 $ par Mbps traité. Barracuda Networks et Versa Network ne s’en tirent pas mal non plus, avec des coûts du même ordre de grandeur, et une efficacité autour de 95 % pour le premier, et de 90 % pour le second.

Mais Watchguard ne fait pas aussi bien, tombant sous la barre des 90 % d’efficacité, et des tentatives d’évasion passées au travers des mailles de ses filets. Le coût tourne toutefois toujours autour de 8 $/Mbps.

Mais Check Point, Cisco et Sophos s’avèrent fortement malmenés. Le premier est positionné comme le moins performant et le plus cher de tout l’échantillon, avec plus de 50 $/Mbps, une efficacité de moins de 30 % dans le blocage des exploits, et des évasions réussies. Côté efficacité, Sophos ne ressort guère en meilleure position, mais pour un coût bien inférieur. Lequel reste toutefois supérieur à 20 $/Mbps. Cisco, enfin, ressort à un peu plus de 70 % d’efficacité contre les exploits, pour environ 28 $/Mbps traité.

Des mouvements pas si exceptionnels

La surprise tient au fait que l’an passé, ces trois équipementiers étaient bien mieux placés. Cisco affichait plus de 95 % d’efficacité pour environ 20 $/Mbps, et aucune évasion réussie. Check Point et Sophos en enregistraient bien quelques-unes, mais pour une efficacité autour de 90 % et un coût inférieur à 19 $/Mbps.

Pour l’heure, aucun de ces trois constructeurs ne redistribue les résultats détaillés des tests auxquels leurs produits ont été soumis par NSS Labs. Il est donc difficile de chercher à justifier ces évolutions.

Mais les mouvements dans la « value map » synthétisant les résultats des tests du laboratoire ne sont pas exceptionnels. L’édition 2017 avait ainsi été particulièrement sévère à l’égard de Barracuda Networks, de Juniper Networks, de SonicWall, ou encore de Palo Alto Networks. Check Point, Fortinet, Sophos et Watchguard avaient également enregistré un déclassement, quoique bien moindre.

Des leaders imparfaits

Mais le classement produit par les résultats des tests n’est peut-être pas ce qui compte le plus. Car NSS Labs ne manque pas de souligner les limites communes à beaucoup de produits – sinon tous – dans son communiqué de presse.

Ainsi, le laboratoire relève qu’aucun des équipements mis à l’épreuve n’a montré une capacité à détecter et prévenir systématiquement les variantes des attaques testées contre eux. Et ce n’est pas tout.

Pour sa campagne de tests 2018, NSS Labs a cherché à vérifier la capacité des équipements à détecter du code malicieux maquillé en JavaScript. Et là, « aucun des produits testé ne décodait correctement le JavaScript », se contentant d’utiliser « des signatures pour détecter les outils de maquillage courants ».

Au final, le laboratoire est sévère : « le maquillage de code réduit l’efficacité moyenne de détection d’activité malicieuse de 34  % au pire, avec certains produits passant à côté de 60 % des attaques cachées avec des outils JavaScript courants ».

Et pour ne rien arranger, NSS Labs relève que du code anodin maquillé avec des outils JavaScript courants « peut aller jusqu’à plus que doubler les taux de faux positifs sur certains produits ».

Des constructeurs écartés

Pour sa campagne de tests 2018, NSS Labs précise en outre avoir écarté les équipements Juniper Network et Huawei, faute d’avoir pu en mesurer l’efficacité et d’avoir pu déterminer s’ils étaient véritablement « appropriés comme produits de pare-feu de nouvelle génération ». Le laboratoire recommande « une évaluation complète » avant tout déploiement.

Ce commentaire pourrait bien tomber à moment particulièrement difficile pour Huawei. Le constructeur est déjà chahuté outre-Atlantique. Surtout, son centre d’évaluation de la cybersécurité (HCSEC) vient de publier un rapport annuel qui n’est pas particulièrement tendre.

Ce rapport conclue ainsi que l’équipementier échoue à respecter les processus de sécurité auxquels il a consenti autour de l’usage de composants tiers : « en particulier, un logiciel de sécurité critique tiers utilisé dans plusieurs produits n’a pas été l’objet d’un contrôle suffisant ».

Un porte-parole de Huawei a assuré à nos confrères de ComputerWeekly que le groupe s’engageait à résoudre ces problèmes : « la cybersécurité reste la première priorité de Huawei, et nous allons continuer à améliorer activement nos processus d’ingénierie et nos systèmes de gestion de risques ».

La réalité des performances

Outre l’évaluation du coût et de l’efficacité des pare-feu de nouvelle génération, les tests de NSS Labs ont aussi le mérite d’apporter un regard extérieur sur la réalité des performances qu’il est possible d’attendre de ces équipements. Et là encore, il peut y avoir des surprises.

NSS Labs réalise les tests de bande passante effective en activant les fonctions de prévention d’intrusion (IPS) sans affiner le moindre réglage, par rapport à ceux recommandés ou configurés par défaut, estimant que « la majorité des entreprises » fait de même.

Ainsi, si Versa Networks revendique 20 Gbps pour son FlexVNF, NSS Labs n’a observé que 3,6 Gbps. Pour son PA-5220, Palo Alto Networks affiche 9 Gbps, mais le laboratoire n’a trouvé que 7,9 Gbps. Les bonnes surprises ont été trouvées chez Forcepoint et Fortinet. Le premier annonce ainsi 7,5 Gbps pour son appliance NGFW 2105, mais NSS Labs a mesuré 7,6 Gbps. Pour le FortiGate 500E de Fortinet, c’est encore mieux : le laboratoire a trouvé 6,7 Gbps contre 5,2 Gbps revendiqués.

Ces chiffres peuvent en fait guider l’acheter potentiel dans la lecture des fiches techniques, en l’aidant à choisir la ligne de celles-ci qui mérite son attention. Chez Forcepoint, c’est ainsi la première, qui indique le NGFW/NGIPS Throughput, tandis que chez Fortinet, il faut chercher IPS Throughput à la rubrique « System Performance – Enterprise Traffic Mix ». Car dans tous les cas, ces chiffres restent considérablement en retrait du débit pare-feu maximal affiché – 22 Gbps pour le FortiGate 500E, 80 Gbps pour le NGFW 2105, ou encore 18 Gbps pour le PA-5220.