Mange sikkerheds suiter forbedrer beskyttelsen i den virkelige verden test

Forskere ved Innsbruck-baserede AV-Comparatives arbejder utrætteligt for at teste sikkerhedssuiternes beskyttende magt på en måde så tæt som muligt på en virkelig brugers oplevelse. Hver dag udsættes næsten tyve suiter for faktiske malware-angreb ved hjælp af et automatiseret system til at registrere, hvor godt produktet stod op til testen. I løbet af de sidste seks måneder har de gennemgået over 3.000 testsager. Halvårsresultaterne er i, og et imponerende antal produkter er forbedret siden den sidste rapport.

Betydningen af ​​prøvestørrelse

Det er intuitivt indlysende, at en test som denne vil få mere præcise resultater med et større sæt prøver, men denne gang omkring AV-Comparatives har klart forklaret konsekvenserne af et for lille prøvesæt. En enkel separat rapport indeholder statistikkerne, og de er lidt overraskende.

Antag, at et bestemt produkt blev opdaget 80 procent ud af et sæt på 10.000 malware-prøver. Antag nu, at du kun vælger ti prøver tilfældigt fra den samme samling. Ved hjælp af et diagram over alle mulige resultater viser rapporten, at det er næsten lige sandsynligt, at opnå den samme detekteringshastighed, en højere detektionshastighed eller en lavere detektionshastighed. Ja, det er et ekstremt tilfælde at skære ned til ti prøver, men det gør bestemt pointen.

Testmetoder

Ved hjælp af automatiserede og manuelle søgemetoder samler forskerteamet virkelige ondsindede webadresser hver dag. De vælger specifikt en blanding af direkte links til malware-filer og drive-by-download-websteder. Når de går igennem dagens prøver en efter en, udsætter de alle produkterne for en bestemt URL samtidigt og ser, hvordan hvert produkt reagerer. Hvis en komponent i suiten afværger malware, er det en succes. Hvis malware glider forbi og indstiller husholdning, er det en fiasko.

Undertiden dukker suiten op med en meddelelse om, at den har fundet noget , der spørger brugeren, om han skal blokere eller tillade det. Til testformål vælger AV-Comparatives-analytikere altid at tillade handlingen. Et produkt, der med succes forsvarer systemet på trods af denne handling, får fuld kredit; et produkt, der lader systemet blive kompromitteret på grund af et forkert valg fra brugeren, får halvkredit.

Når en bestemt testtilfælde er afsluttet, genoptages alle testsystemerne tilbage til en pre-malware-tilstand, klar til det næste testtilfælde.

Falske positiver

Et falskt positivt resultat opstår, når sikkerhedssoftwaren fejlagtigt blokerer adgangen til en legitim fil eller websted. Det er klart, at du ikke ønsker, at din sikkerhedssuite udsletter gyldige filer eller holder dig væk fra uskadelige websteder. AV-sammenligninger testede hvert produkt med omkring tusind tilfældigt valgte domæner og omkring hundrede nye og populære programmer. Til testformål downloadede de hvert program fra udviklerens websted, ikke fra en downloadportal.

Rapporten bemærker, at statistisk og omdømme-baseret sikkerhedsanalyse ofte vil blokere eller advare om helt nye programmer og websteder. Den siger, "Selvom sådanne beskyttelsesteknikker… hjælper med at skabe høje score… kan dette også føre til detektion / blokering af uskyldige / rene filer og URL'er, bare fordi de er… for nye." Norton, en stærk talsmand for denne type detektion, deltager ikke i AV-Comparatives-test.

Meget forbedring

Mere end halvdelen af ​​produkterne i den aktuelle rapport scorede bedre end i den forrige udgave af denne rapport. Vipre, McAfee og Fortinet mislykkedes alle sidste gang, ikke engang at tjene STANDARD, den laveste karakter. Denne gang bedømte Fortinet og McAfee ADVANCED og Vipre kom til STANDARD. Alle tre fik deres bedømmelse nedsat på grund af falske positiver; baseret kun på detektering, ville McAfee og Fortinet have bedømt ADVANCED +, den højeste bedømmelse.

eScan sprang fra STANDARD til ADVANCED +, mens han var avast!, ESET og Trend Micro flyttes fra ADVANCED til ADVANCED +. Flere andre, der tidligere har klassificeret STANDARD, styrede en ADVANCED-rating denne gang.

Bitdefender tjener regelmæssigt topscore overalt i uafhængige laboratorietest. Bare baseret på malware-detektion ville det have bedømt ADVANCED +, som det gjorde sidste gang, men falske positiver slået det ned til ADVANCED. Det samme skete med F-Secure og BullGuard.

AV-Comparatives-produktets dynamiske test er blandt de mest arbejdskrævende test, jeg har fundet. Det er ikke overraskende, at laboratoriet er afhængig af støtte fra University of Innsbruck og fra den østrigske regering. Det er meget arbejde, men slutresultatet er en test, der meget tæt tilnærmer sig, hvor godt et produkt vil beskytte brugere i den virkelige verden.