Nous avons testé les logiciels de sécurité selon la nouvelle méthodologie du Laboratoire 01NET, qui cherche à exposer ces remparts à des menaces réelles et à mesurer la réactivité de ces outils au quotidien face à l’apparition des nouvelles menaces. Celles-ci sont récoltées aux travers des différents « honeypots » mis en œuvre depuis près de 10 ans par le Laboratoire, aux travers des Newsgroups et réseaux P2P lesp lus populaires, aux travers des réseaux Facebook et Twitter, aux travers de diverses sources réputées capables de délivrer en temps réel des URL de sites infectés.
Chaque logiciel de sécurité a été exposé au même moment que ses concurrents aux différentes menaces, qu’elles proviennent d’URL Web, de courriers électroniques ou de téléchargements de codes malveillants. L’utilisation intensive du Cloud et la volatilité naturelle des menaces actuelles obligent à tester les menaces « en live », en donnant à chaque outil les mêmes chances au même moment. Les anciennes méthodologies de tests de bases virales ou URL ne sont pas applicables et ne reflètent plus le fonctionnement des outils modernes.
Chaque suite a été évaluée selon 7 critères :
* Protection WEB : le test consiste à demander aux logiciels d’accéder à des sites infectés, corrompus, des sites de phishing ou simplement supports d’arnaques. Puisque le test porte uniquement sur les antivirus, les tests sur les sites infectés et vecteurs de codes malveillants ont été privilégiés (80% des sites visités). Le test est réalisé sur 5 jours et sur une centaine d’URL par jour. Chaque URL testée avait moins de 4 heures d’existence dans nos bases (les URLs dangereuses survivent rarement plus d’une journée sur Internet). L’URL est d’abord visitée avec une machine XP-SP3/IE7 non protégée. Puis elle est visitée par tous les outils de sécurité simultanément et le comportement des outils est comparé. L’URL est une nouvelle fois visitée avec une machine XP-SP3/IE7 non protégée. Si le comportement du site n’est pas identique entre les deux machines non protégées, ou si une erreur d’accès au site est repérée durant le test, l’URL est retirée du jeu de tests (en pratique, plus de la moitié des URL sont ainsi rejetées). Seules les URL jugées valides sont comptabilisées. Si l’URL est bloquée, la suite marque 1 point. Si la menace n’est pas bloquée et qu’un téléchargement est déclenché, ce téléchargement (qu’il soit manuel ou drive-by) est poursuivi jusqu’à ce qu’il soit bloqué par la suite (qui marque alors un point). Si le téléchargement n’est pas détecté la protection ne marque pas de point, et la menace est exécutée et le résultat de cette exécution est comptabilisé dans les défenses proactives.
* Protection Proactive : le résultat de ce test est composite. Il est une combinaison de plusieurs notes : la note obtenue aux tests d’intrusion système par l’outil spécifique de 01net (4 points), la note obtenue après exécution des codes malveillants non reconnus de notre base de malwares (6 points), la note obtenue après exécution des codes malveillants téléchargés lors des tests Web ou des téléchargements directs en P2P ou Newsgroups et qui n’ont pas été bloqués par les boucliers WEB (10 points). Dans le cadre de ce mini-comparatif des « antivirus autonomes », un coefficient 2 est appliqué à ce critère.
* Réactivité : Le test évalue la capacité des outils à reconnaître des malwares apparus depuis moins de 48H. C’est un test de scan de base virale classique mais réalisé sur une centaine d’échantillons très récents (le test a été réalisé deux fois sur 50 échantillons de moins de 48H, quatre jours séparant les deux tests). Ces échantillons sont récupérés depuis nos « Honeypots » Emails, Newsgroups, et URL.
* Scan et nettoyage : 01NET continue de réaliser des analyses de base de malwares. Mais ce test n’est pas considéré comme un test de protection ou d’efficacité défensive mais comme un test de nettoyage. On demande à l’outil de sécurité d’analyser une clé USB comportant 5000 malwares uniques dont 4000 ont moins de 6 mois. Cette base est constituée d’échantillons principalement récoltés par nos honeypots Emails, Web et Newsgroups. Elle est en constante évolution. A la fin du scan, on comptabilise les échantillons effectivement effacés par l’outil (les outils sont configurés pour forcer la suppression des archives infectées, lorsqu’une telle option n’est pas disponible, un outil 01net comptabilise les éléments modifiés).
* Performance : Il s’agit d’une combinaison de tests divers évaluant l’impact de l’outil sur les applications bureautiques, les transferts de fichiers, les sessions de navigation Web, les manipulations de fichiers, les jeux, les compressions/décompressions, les encodages multimédias, l’impact sur le démarrage, l’impact sur l’occupation mémoire. La note intègre également les performances du Scan et prend notamment en compte les optimisations sur passes multiples. Les tests de performances sont réalisés sous Windows 7 Edition Familiale Premium sur un Notebook entrée de gamme, équipé d’un processeur Dual-Core et de 2 Go de RAM. Il est à noter que la plupart des outils de sécurité tendent à obtenir des meilleures notes de performances sous Windows 7 que sous XP.
* Convivialité : Le laboratoire prend en compte la simplicité de l’interface, son aspect visuel, la clarté des alertes, la compatibilité de l’interface avec des écrans tactiles, l’absence de publicités, l’envahissement des écrans invitant à une mise à jour vers la version supérieure.
* Richesse fonctionnelle : Le laboratoire prend en compte la capacité de l’outil à défendre quel que soit le navigateur ou les outils de téléchargement, la multiplicité des réglages sur les analyses, les optimisations sur passes multiples, la présence d’un mode jeu, la présence de claviers virtuels et d’outils de virtualisation, la présence d’une analyse de recherches des vulnérabilités système, la présence de fonctions d’optimisation, la présence d’une fonction de création d’un CD de secours, le nombre de mises à jour journalières, la richesse des paramétrages proposés.
Ces sept critères sont ensuite recomposés pour obtenir quatre notes sur vingt : « Protection Web », « Proactivité et réactivité », « Scan et nettoyage », « Performance, richesse et convivialité ».
La note finale est obtenue en moyennant ces quatre notes (avec un coefficient 2 appliqué à la note de « Proactivité et réactivité »).
Les logiciels sont évalués avec leurs paramètres par défaut.
Tout test est une sorte de « photo instantanée » réalisée sur une période donnée avec un angle choisi. En tant que tel, un test ne donne pas la vérité mais une vérité. Il doit être rapproché des autres tests réalisés à d’autres périodes et selon d’autres angles. L’efficacité des protections varient selon les périodes, les vagues d’attaques, l’évolution des menaces au cours du temps. De même, ce n’est parce qu’une protection n’a pas été pervertie durant les tests qu’elle ne le sera pas sur des tests équivalents réalisés à une période différente face à des menaces qui auront forcément évolué.
Ces tests reflètent les performances des outils testés et ne sont pas transposables aux autres outils des mêmes éditeurs. Autrement dit, ces tests ne reflètent nullement l’efficacité des versions payantes des outils gratuits ou l’efficacité des déclinaisons « Suites Internet » de ces antivirus autonomes.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
