Microsoft genoptager antivirus-testfejl

Det skal være hårdt at arbejde i Microsoft Malware Protection Center. Her er din virksomhed blandt de største i verden, men alligevel siger et lille (men velovervejet) antivirus-testlaboratorium i Tyskland, at din antivirus-software ikke skærer sennep. Ikke kun én gang, men to gange i de sidste par måneder, kunne Microsoft ikke modtage certificering fra AV-Test.

Joe Blackbird, programleder i Center, forklarede i et blogindlæg, at manglende denne test ikke betyder, at Microsofts bruger ikke er beskyttet.

Gennemsigtighed i testning

I overensstemmelse med AMTSO's principper gør AV-Test ingen hemmelighed om den metode, der bruges til at gennemføre deres igangværende certificeringstest. Det betyder, at Blackbird kunne kontrollere og verificere nøjagtigt, hvorfor Microsoft Security Essentials ikke passerede.

Testen giver samme vægt på tre elementer af sikkerhed: beskyttelse (at forhindre ny malware i at angripe et rent system), reparere (rydde malware, der allerede er til stede), og brugervenlighed (udføre jobbet uden at bremse systemet eller falsk beskylde gyldige programmer). Microsoft gjorde OK inden for reparation og brugervenlighed, men fik kun 1, 5 af 6 mulige punkter til beskyttelse.

Ikke virkelige verden?

Blackbirds største påstand er, at denne test ikke afspejler den virkelige oplevelse af Microsofts kunder. Ifølge AV-Test gik Microsoft glip af 28 af 100 nul-dags trusler. Imidlertid viser Microsofts telemetri, at "99, 997 procent af vores kunder ramt med en 0-dag ikke stødte på malware-prøverne, der blev testet i denne test." Bemærk, at han ikke taler om 99, 997 procent af alle kunder. Han siger, at kun 0, 003 procent af dem, der stødte på en nul-dages trussel af en eller anden art, stød på en, som AV-test faktisk brugte.

Men er dette nødvendigvis en anklage over testmetoden? Lad os se på det omvendt. Nul-dages angreb forekommer konstant, i stort antal. Hvis 0, 003 procent repræsenterer kun en kunde, er 300.000 kunder stødt på et sådant angreb. Naturligvis kunne antallet være større. AV-test valgte en tilfældig prøve på 100 og fandt tilfældigvis 28, som Microsoft ikke kan registrere. Det lyder lidt dårligt, ikke?

Microsoft gik også glip af 9 procent af de 216.000 filer i "nyere malware" -samling, men, sagde Blackbird, de ubesvarede prøver "repræsenterer ikke, hvad vores kunder støder på. Når vi eksplicit kiggede efter disse filer, kunne vi ikke finde dem på vores kundernes maskiner."

Kundefokuseret prioritering

"I december 2012, " fortsatte Blackbird, "behandlede vi 20 millioner nye potentielt ondsindede filer, og ved hjælp af telemetri og kundepåvirkning til at prioritere disse filer tilføjede vi beskyttelse, der blokerede 4 millioner forskellige ondsindede filer på næsten 3 millioner computere. Disse 4 millioner filer kunne have haft kundevirkning, hvis vi ikke havde prioriteret dem korrekt. " Med andre ord, Microsoft klarede sig dårligt i denne test på grund af deres vægt på at prioritere filer, der aktivt ville påvirke deres kunder.

Det er et interessant punkt, men andre leverandører formår at beskytte deres brugere og også tjene topscore fra AV-Test. Bitdefender, F-Secure og Trend Micro modtog alle 6 af 6 mulige point i beskyttelsestesten.

Jeg indrømmer det punkt, at AV-Test ikke brugte al malware, som Microsoft faktisk brugte til deres test. Det ville være umuligt. Antivirus-testere skal gøre deres bedste for at bruge repræsentative prøver. Imidlertid antyder min egen hands-on-test med Microsoft Security Essentials ved hjælp af prøver, der er langt fra nul-dages, at det bare ikke er så effektivt som de bedste antivirusprodukter.

For mere fra Neil, følg ham på Twitter @neiljrubenking.