Symantec erklærer on-demand antivirus-tests vildledende

I sidste uge frigav det uafhængige antiviruslaboratorium AV-Comparatives resultaterne af en on-demand antivirusdetektionstest. At Microsoft kom tæt på bunden var ikke store nyheder; det faktum, at Symantec scorede endnu lavere, var overraskende. I et blogindlæg, der blev frigivet i dag, decreet Symantec hele praksis med at udføre on-demand malware scanningstest og kaldte det "vildledende."

I de første år med antivirus-test var hver test en on-demand-scanningstest. Forskere ville samle en samling af kendt malware, køre en fuld scanning og registrere den procentdel af detekterede prøver. Moderne laboratorier arbejder hårdt for at udtænke test, der mere afspejler en brugers virkelige oplevelse under hensyntagen til det faktum, at langt de fleste infektioner kommer ind på computeren fra Internettet. Symantec hævder, at kun den virkelige slags test er gyldig; Jeg er ikke helt enig.

Forkrøbet beskyttelse?

Alejandro Borgia, senior direktør for produktstyring for Symantec Corporation, erklærede kategorisk i sit blogindlæg, at "de citerede detekteringshastigheder er vildledende og ikke repræsentative for produktets virkning i den virkelige verden." Borgia sagde: "Disse typer filscannetest køres i kunstige miljøer, der forkaster alle moderne beskyttelsesfunktioner."

Det er sandt, at AV-Comparatives sørgede for, at testsystemerne havde internetadgang, hvorved Symantec-installationen fik adgang til det kraftige skybaserede Norton Insight-omdømmesystem. Da jeg spurgte mine Symantec-kontakter om dette, forklarede de, at for fuld styrke Norton Insight er afhængig af fuld information, "hvordan filen blev opnået, hvornår den blev opnået eller hvor den blev opnået (f.eks. URL og IP-adresse)." En on-demand filscannertest på filer, hvis ankomst Symantecs antivirus ikke observerede er ikke den samme som når brugeren faktisk downloader filer. Det er sandt, men det er det samme som når en bruger installerer antivirus for at rydde op i et eksisterende malware-problem.

Komponenterne til forebyggelse af netværksindtrængen fik heller ingen chance for at hjælpe, da filprøverne blev downloadet før installation af antivirus-software. Endnu en gang ville du være i en lignende situation, når du installerer antivirus for første gang på et inficeret system. Og selvfølgelig opførselsbaseret detektion starter aldrig, før et program faktisk begynder at udføre.

Som svar på en forespørgsel om adfærdsbaseret beskyttelse, der kun griber ind, når en ondsindet fil er lanceret, påpegede mine Symantec-kontakter, at "adfærd" inkluderer mere end handlinger, der er udført af programmet. "Vores adfærdsteknologi tager højde for et programs placering, hvordan det er registreret på systemet (f.eks. Hvilke registernøgler, der refererer til det), og mange andre faktorer, " forklarede de. "I de fleste tilfælde vil programmet blive stoppet, inden det forårsager skade."

Er det vildledende?

Hvad angår påstanden om, at testen er vildledende, er AV-Comparatives ikke enige. Introduktionen til selve rapporten om, at "et produkts fildetekteringshastighed kun er et aspekt, " og peger på "andre testrapporter, der dækker forskellige aspekter."

"Det er klart anført, at kun en funktion af produktet er testet, " sagde Peter Stelzhammer, medstifter af AV-Comparatives. "Hvis Symantec mener, at fildetekteringsfunktionen er værdiløs, hvorfor inkluderes den stadig i produktet?" Stelzhammer påpegede, at fildetektion er nødvendig til den første oprydning, og at pc'er ikke altid har en internetforbindelse. Alligevel blev "testen kørt med fuld internetforbindelse, og Symantecs skyfunktioner har fået adgang til deres sky."

Borgia sammenligner test af fildetektering alene med at teste en bils sikkerhedssystemer ved først at deaktivere alt andet end skødebåndet, idet han siger, at en sådan test ville være "fuldstændig mangelfuld." Og alligevel kan en sådan test meget vel identificere problemer med et svagt skødbælte, så "helt mangelfuld" synes at være en overdrivelse.

Kun virkelige verdensforsøg?

Borgia bemærker, at Symantec stærkt støtter test i den virkelige verden, test "der bedst repræsenterer trusselmiljøet og bruger alle de proaktive teknologier, der leveres med et produkt." Jeg kan næppe være uenig, men sådanne test kræver en enorm mængde tid og kræfter. Blogindlægget holder testen udført af Dennis Labs som et lysende eksempel. Dennis Labs registrerer infektionsprocessen fra URL-adresser i den virkelige verden og bruger derefter et web-afspilningssystem til at gentage den nøjagtige samme proces under hver antivirusprodukts beskyttelse. Det er ganske vist beundringsværdigt, men det kræver en masse tid og kræfter.

AV-Comparatives selv kører test i den virkelige verden hver dag og udfordrer en samling af antivirusprodukter, der er installeret i identiske testrigge for at forsvare mod malware fra hundreder af meget nye ondsindede webadresser i den virkelige verden. Hver måned opsummerer de dataene, og hvert kvartal frigiver de en komplet Real World Protection-rapport. Processen er arbejdskrævende nok til, at de er afhængige af hjælp fra universitetet i Innsbruck og på delvis finansiering fra den østrigske regering.

Du kan forvente, at Symantec skulle lyse i denne virkelige verden-test af AV-Comparatives. "Desværre, " bemærkede Stelzhammer, "Symantec ville ikke være med i vores vigtigste testserie." Symantec valgte ikke at deltage, sagde de, fordi "AV-Comparatives ikke tilbyder leverandører et abonnement, der kun fokuserer på virkelige verdenstest, mens de fravælger filscannetesten." Imidlertid ser denne strategi ud til at være tilbage. Selvom virksomheden ikke abonnerer, satte AV-Comparatives Symantec i on-demand-testen "da resultaterne er meget efterspurgt af vores læsere og pressen."

Flere test har værdi

Symantecs blogindlæg konkluderer, "Vi ser frem til den dag, hvor alle offentliggjorte tests er tests i den virkelige verden. I mellemtiden skal læserne være opmærksomme på kunstige tests, der viser vildledende produktsammenligninger." Også jeg ville være begejstret for at se flere test, der matcher en brugers virkelige oplevelse, men jeg tror ikke, vi kan kassere fildetekteringstest.

Overvej dette. Hvis du køber antivirus-software til et system, der aldrig havde beskyttelse, forventer du, at det rydder op for al malware, uden at gribe fat i, at det ikke fik en chance for at bruge dets forebyggelse af netværksindtrængen. I et sådant tilfælde vil du sandsynligvis kigge efter høje score i en test som AV-Comparatives on-demand-test, en test, der temmelig nøje matcher din situation.

For løbende beskyttelse, ja, du vil gerne have et produkt, der tjener topscore også i virkelige verdenstest. Så vælg et produkt, der scorer højt i begge områder og i test fra flere laboratorier. På den måde får du beskyttelse, der kan tage sig af eventuelle problemer, der findes ved installationen, og som også kan afværge fremtidige malware-angreb.