Video: Тестирование Symantec Endpoint Protection 14.2 (Oktober 2024)
On-demand-scanning
On-demand-scanningstesten udsætter hvert testet produkt for en samling af "prøver fra de sidste uger / måneder, der rammer / brugere i marken." Prøverne analyseres yderligere for at klassificere lignende filer og reducere prøvesættets størrelse, så "hver miss er beregnet til at repræsentere en ubesvaret gruppe." Denne særlige test bruger 136.610 nylige prøver. Et produkts indledende score er procentdelen af detekterede prøver.
Overraskende viste Symantecs Norton AntiVirus den laveste detektionshastighed (før man overvejede falske positiver) med 91, 2 procent detektion. Microsoft Security Essentials kantede sig højere og opdagede 92 procent af prøverne. Med 99, 9 procent detektion, toppede G Data AntiVirus listen. Flere andre lykkedes bedre end 99 procent.
Falske positiver
Forskere i AV-Comparatives bruger en klyngeteknik til at identificere de afskæringspunkter, der adskiller ADVANCED + (den øverste bedømmelse) fra AVANCED og ADVANCED fra STANDARD. Det er udgangspunktet, men et produkt med mange (16 til 50) falske positive poster mister et klassificeringsniveau, og et med meget mange (51 til 100) mister to. Ligegyldigt hvad dets oprindelige bedømmelse har, hvis et produkt viser "skøre mange" (over 100) falske positiver, vil det altid modtage ikke-bestået vurdering af TESTED.
Ni af de 20 testede produkter mistede et vurderingsniveau på grund af mange falske positiver. I det mindste havde ingen af dem meget eller "vanvittigt mange" FP'er. Norton, der startede med en bedømmelse af STANDARD, sank til TESTED, ligesom AhnLab gjorde. I vinderens cirkel, med en vurdering af AVANCED +, finder vi Avira, Bitdefender, BullGuard, F-Secure og Kaspersky. Klik her for at se den fulde rapport.
Bemærk, at du ikke finder Microsoft angivet i priserne. Jeg troede først at dette var et tilsyn, men AV-Comparatives-medstifter Peter Stelzhammer satte mig lige. "Vi besluttede ikke længere at liste Microsoft i Award-sektionen (og i yderligere test), " forklarede Stelzhammer, "da deres beskyttelse ud af boksen er aktiveret i Windows pr. Standard." På lignende måde har AV-Test valgt at behandle Microsofts score som et minimumsgrundlag.
Vægtede falske positiver
Symantec har i årevis tilfredsgjort, at et simpelt antal falske positiver ikke er nyttigt. Symantec-forskere anbefaler, at enhver falsk positiv test inkluderer vægtning baseret på udbredelsen af den involverede fil. De hævder, at deres Norton Insight-analysesystem udelukker muligheden for en falsk positiv på alle filer undtagen dem med lav forekomst. Et sekundært dokument fra AV-Comparatives antyder, at de måske har ret.
False Positives-appendiks til on-demand-rapporten viser hver enkelt fil, som hvert produkt fejlagtigt opdagede som malware, sammen med det anvendte malware-navn og et skøn over udbredelse. De identificerede fem niveauer fra "sandsynligvis færre end hundrede brugere" til "sandsynligvis flere hundrede tusinder (eller millioner)."
Bare for at se, jeg vælger et repræsentativt antal brugere på hvert niveau, 50 brugere på det første niveau og ti gange større for hvert højere niveau, med 500.000 brugere af de mest udbredte programmer. Derefter beregnet jeg antallet af brugere, der kan blive påvirket af hvert produkts falske positiver. Resultaterne, der er vist i nedenstående diagram, antyder for mig, at AV-sammenligninger bør overveje at bruge en lignende vægtet FP-beregning.
I dette diagram vises de produkter, der mistede et klassificeringsniveau på grund af falske positiver, med fed kursiv. Min vægtede beregning har Norton FP, der potentielt påvirker 13.750 brugere. Flere produkter, der ikke blev dinget baseret på antallet af FP'er, havde faktisk en større effekt end Symantec, inklusive vinderne Kaspersky og F-Secure.
Emsisoft havde samlet set det største antal falske positiver, 38 af dem. Forfærdelig, ikke? Men ingen af de to højeste niveauer af udbredelse, så dens teoretiske virkning er mindre end for Sophos, med 6 FP'er i alt, eller ESET, med 9 FP'er.
McAfee opnåede en AVANCERET vurdering i den grundlæggende on-demand test. Med 15 falske positiver er det kun kort af antallet, der ville få det til at miste et klassificeringsniveau. Alligevel har min vægtede beregning den potentielt ansvarlige for at påvirke godt over 200.000 brugere, næsten 16 gange så mange som Norton.
Dette er ikke tal i den virkelige verden, bare et tankeeksperiment for at hjælpe med at forstå, hvad det ville bruge at bruge udbredelse til måling af falske positiver. Efter at have gennemgået denne øvelse håber jeg, at AV-komparative kan finde en måde at faktorudbredelse i deres falske positive test på. Bare det at tælle antallet op er klart ikke nok.
