Hvordan vi tester antivirus- og sikkerhedssoftware

Ethvert antivirus- eller sikkerhedsprodukt lover at beskytte dig mod et væld af sikkerhedsrisici og irritationer. Men lever de faktisk op til deres løfter? Når vi vurderer disse produkter til gennemgang, sætter vi deres påstande på prøve på mange forskellige måder. Hver gennemgang rapporterer om resultaterne af vores test såvel som praktisk erfaring med produktet. Denne artikel vil grave dybere og forklare, hvordan disse test fungerer.

Naturligvis er ikke enhver test passende for hvert produkt. Mange antivirusværktøjer inkluderer beskyttelse mod phishing, men nogle gør det ikke. De fleste suiter inkluderer spamfiltrering, men nogle udelader denne funktion, og nogle antivirusprodukter tilføjer den som en bonus. Uanset hvilke funktioner et givet produkt tilbyder, sætter vi dem på prøve.

Test af antivirus i realtid

Hvert fulldrevet antivirusværktøj inkluderer en on-demand-scanner til at søge og ødelægge eksisterende malware-angreb og en realtidsmonitor for at afværge nye angreb. Tidligere har vi faktisk opretholdt en samling malware-inficerede virtuelle maskiner til at teste hvert produkts evne til at fjerne eksisterende malware. Fremskridt inden for kodning af malware gjort test med live malware for farligt, men vi kan stadig udøve hvert produkts realtidsbeskyttelse.

Hvert år i det tidlige forår, når de fleste sikkerhedsleverandører har afsluttet deres årlige opdateringscyklus, samler vi en ny samling malware-prøver til denne test. Vi starter med et feed af de nyeste malware-hosting-webadresser, downloader hundredevis af prøver og vinder dem ned til et håndterbart antal.

Vi analyserer hver prøve ved hjælp af forskellige håndkodede værktøjer. Nogle af prøverne registrerer, når de kører i en virtuel maskine og afholder sig fra ondsindet aktivitet; vi bruger simpelthen ikke dem. Vi ser efter en række forskellige typer og efter prøver, der foretager ændringer i filsystemet og registreringsdatabasen. Med en vis indsats deler vi samlingen ned til et håndterbart antal og registrerer nøjagtigt, hvilket systemændringer hver prøve foretager.

For at teste et produkts malware-blokerende evner downloader vi en mappe med prøver fra cloud-lager. Realtidsbeskyttelse i nogle produkter starter straks og udsletter kendt malware. Hvis det er nødvendigt for at udløse realtidsbeskyttelse, klikker vi enkelt på hver prøve eller kopierer samlingen til en ny mappe. Vi noterer os, hvor mange prøver antivirus fjerner i syne.

Dernæst lancerer vi hver resterende prøve og bemærker, om antivirussen har fundet det. Vi registrerer den konstaterede samlede procentdel, uanset hvornår detektering skete.

Detektion af et malware-angreb er ikke tilstrækkeligt; antivirussen skal faktisk forhindre angrebet. Et lille internt program kontrollerer systemet for at bestemme, om malware har formået at foretage ændringer i registreringsdatabasen eller installere nogen af ​​dens filer. I tilfælde af eksekverbare filer kontrollerer det også, om nogen af ​​disse processer rent faktisk kører. Og så snart målingen er afsluttet, lukker vi den virtuelle maskine ned.

Hvis et produkt forhindrer installation af alle eksekverbare spor med en malware-prøve, tjener det 8, 9 eller 10 point, afhængigt af hvor godt det forhindrede rodet i systemet med ikke-eksekverbare spor. Registrering af malware, men ikke at forhindre installation af eksekverbare komponenter, får halvkredit, 5 point. Endelig, hvis, på trods af antiviruss forsøg på beskyttelse, faktisk en eller flere malware-processer kører, er det blot 3 point værd. Gennemsnittet af alle disse scoringer bliver produktets endelige malware-blokerende score.

Test af ondsindet URL-blokering

Det bedste tidspunkt at udslette malware er, før det nogensinde når din computer. Mange antivirusprodukter integreres med dine browsere og styrer dem væk fra kendte malware-hosting-webadresser. Hvis beskyttelsen ikke sparker ind på dette niveau, er der altid en mulighed for at udslette malware-nyttelasten under eller umiddelbart efter download.

Mens oue grundlæggende malware-blokerende test bruger det samme sæt prøver i en sæson, er de malware-hosting-webadresser, vi bruger til at teste webbaseret beskyttelse, forskellige hver gang. Vi får et feed af de meget nyeste ondsindede webadresser fra London-baserede MRG-Effitas og bruger typisk webadresser, der ikke er mere end en dag gamle.

Ved hjælp af et lille specialbygget værktøj går vi ned på listen og starter hver URL igen. Vi kasserer ethvert, der faktisk ikke peger på en malware-download, og alle der returnerer fejlmeddelelser. For resten bemærker vi, om antivirussen forhindrer adgang til URL'en, udsletter download eller ikke gør noget. Efter registrering af resultatet springer værktøjet til den næste URL på listen, der ikke er på det samme domæne. Vi springer over filer, der er større end 5MB, og springer også over filer, der allerede er vist i den samme test. Vi holder på det, indtil vi har akkumuleret data til mindst 100 verificerede webadresser til malware-hosting.

Resultatet i denne test er simpelthen procentdelen af ​​webadresser, som antivirussen forhindrede download af malware, hvad enten det var ved at afbryde adgangen til URL'en helt eller ved at udslette den downloadede fil. Resultaterne varierer meget, men de allerbedste sikkerhedsværktøjer styrer 90 procent eller mere.

Test phishing-detektion

Hvorfor ty til detaljerede datastjælpende trojanere, når du bare kan narre folk til at opgive deres adgangskoder? Det er tankegangen for malefaktorer, der opretter og administrerer phishing-websteder. Disse falske sider efterligner banker og andre følsomme websteder. Hvis du indtaster dine loginoplysninger, har du netop givet nøglerne til kongeriget væk. Og phishing er platformuafhængig; det fungerer på ethvert operativsystem, der understøtter browsing på internettet.

Disse falske websteder bliver typisk sortlistet ikke længe efter deres oprettelse, så til test bruger vi kun de meget nyeste phishing-webadresser. Vi samler disse fra phishing-orienterede websteder og favoriserer dem, der er rapporteret som svig, men endnu ikke er verificeret. Dette tvinger sikkerhedsprogrammer til at bruge realtidsanalyse snarere end at stole på simple sindede sortlister.

Vi bruger fire virtuelle maskiner til denne test, en af ​​det produkt, der testes, og en hver ved hjælp af phishing-beskyttelsen indbygget i Chrome, Firefox og Microsoft Edge. Et lille hjælpeprogram starter hver URL i de fire browsere. Hvis nogen af ​​dem returnerer en fejlmeddelelse, kasseres vi denne URL. Hvis den resulterende side ikke aktivt forsøger at efterligne et andet sted, eller ikke forsøger at fange brugernavn og adgangskodedata, kasseres det. For resten registrerer vi, om hvert produkt har fundet svindlen eller ej.

I mange tilfælde kan produktet, der testes, ikke engang gøre det så godt som den indbyggede beskyttelse i en eller flere browsere.

Test af spamfiltrering

I disse dage e-mail-konti for de fleste forbrugere har spam støvsuget ud af dem af e-mail-udbyderen eller af et værktøj, der kører på e-mailserveren. Faktisk aftager behovet for spamfiltrering støt. Østrigsk testlaboratorium AV-Comparatives testede antispam-funktionalitet for et par år siden og fandt, at selv Microsoft Outlook alene blokerede næsten 90 procent af spam, og de fleste suiter gjorde det bedre, nogle af dem meget bedre. Laboratoriet lover ikke engang at fortsætte med at teste forbrugersvendte spamfiltre og bemærker, at "flere leverandører overvejer at fjerne antispam-funktionen fra deres forbrugersikkerhedsprodukter."

Tidligere kørte vi vores egne antispam-test ved hjælp af en konto i den virkelige verden, der får både spam og gyldig mail. Processen med at downloade tusindvis af meddelelser og manuelt analysere indholdet af indbakke og spam-mappen tog mere tid og kræfter end nogen af ​​de andre praktiske test. At bruge maksimal indsats på en funktion af minimal betydning giver ikke længere mening.

Der er stadig vigtige punkter at rapportere om en suite's spamfilter. Hvilke e-mail-klienter understøtter det? Kan du bruge det med en ikke-understøttet klient? Er det begrænset til POP3-e-mail-konti, eller håndterer det også IMAP, Exchange eller endda webbaseret e-mail? Fremover overvejer vi omhyggeligt hver suite's antispamfunktioner, men vi vil ikke længere downloade og analysere tusinder af e-mails.

Test af ydelse til Security Suite

Når din sikkerhedspakke travlt holder øje med malware-angreb, forsvarer sig mod netværksindtrængen, forhindrer din browser i at besøge farlige websteder osv., Bruger det helt klart nogle af dit systems CPU og andre ressourcer til at udføre sit job. For nogle år siden fik sikkerheds suiter ry for at suge op så meget af dine systemressourcer, at din egen computerbrug blev påvirket. Tingene er meget bedre i disse dage, men vi kører stadig nogle enkle test for at få et indblik i hver suite's effekt på systemydelsen.

Sikkerhedssoftware skal indlæses så tidligt i startprocessen som muligt, for at den ikke finder malware, der allerede er under kontrol. Men brugere ønsker ikke at vente længere end nødvendigt for at begynde at bruge Windows efter en genstart. Vores testscript kører umiddelbart efter opstart og begynder at bede Windows om at rapportere CPU-brugsniveauet en gang pr. Sekund. Efter 10 sekunder i træk med CPU-brug ikke mere end 5 procent erklærer det, at systemet er klar til brug. Ved at trække starten af ​​startprocessen (som rapporteret af Windows) ved vi, hvor lang tid startprocessen tog. Vi kører mange gentagelser af denne test og sammenligner gennemsnittet med gennemsnittet for mange gentagelser, når der ikke var nogen pakke til stede.

I virkeligheden genstarter du sandsynligvis ikke mere end en gang om dagen. En sikkerhedspakke, der bremsede hverdagslige filoperationer kan have en mere betydelig indflydelse på dine aktiviteter. For at tjekke for den slags opbremsning, sætter vi gang på et script, der flytter og kopierer en stor samling af store til enorme filer mellem drev. I gennemsnit adskillige kørsler uden pakke og flere kørsler med sikkerhedspakken aktiv, kan vi bestemme, hvor meget pakken bremsede disse filaktiviteter. Et lignende script måler suiteens virkning på et script, der lynlåser og pakker den samme filsamling ud.

Den gennemsnitlige afmatning i disse tre test af suiterne med det meget letteste touch kan være mindre end 1 procent. I den anden ende af spektret er et meget få suiter gennemsnitligt 25 procent eller endnu mere. Du kan faktisk bemærke virkningen af ​​de mere tunge hånd suiter.

Test af firewallbeskyttelse

Det er ikke så let at kvantificere en firewalls succes, fordi forskellige leverandører har forskellige ideer om, hvad en firewall skal gøre. Alligevel er der et antal test, vi kan anvende til de fleste af dem.

En firewall har typisk to job, der beskytter computeren mod angreb udefra og sikrer, at programmer ikke misbruger netværksforbindelsen. For at teste beskyttelse mod angreb bruger vi en fysisk computer, der opretter forbindelse via routerens DMZ-port. Dette giver virkningen af ​​en computer, der er direkte tilsluttet internettet. Det er vigtigt for testning, fordi en computer, der er tilsluttet via en router, faktisk er usynlig for Internettet som helhed. Vi ramte testsystemet med portscanninger og andre webbaserede tests. I de fleste tilfælde finder vi ud, at firewall skjuler testsystemet fuldstændigt fra disse angreb, hvilket sætter alle porte i stealth-tilstand.

Den indbyggede Windows-firewall håndterer stealthing af alle porte, så denne test er bare en baseline. Men selv her er der forskellige meninger. Kasperskys designere ser ikke nogen værdi i stealthing-porte, så længe portene er lukket og firewall aktivt forhindrer angreb.

Programstyring i de tidligste personlige firewalls var ekstremt praktisk. Hver gang et ukendt program forsøgte at få adgang til netværket, dukkede firewallen en forespørgsel, hvor han blev spurgt, om brugeren skulle tillade adgang eller ej. Denne tilgang er ikke særlig effektiv, da brugeren generelt ikke har nogen idé om, hvad handlingen er korrekt. De fleste vil bare tillade alt. Andre vil klikke på Bloker hver gang, indtil de bryder et vigtigt program; derefter tillader de alt. Vi udfører en hands-on kontrol af denne funktionalitet ved hjælp af et lille browserværktøj, der er kodet i time, et, der altid vil kvalificere sig som et ukendt program.

Nogle ondsindede programmer forsøger at omgå denne form for simpelt programkontrol ved at manipulere eller maskere som pålidelige programmer. Når vi støder på en old-school-firewall, tester vi dens evner ved hjælp af værktøjer, der kaldes lækketest. Disse programmer bruger de samme teknikker til at undgå programkontrol, men uden nogen ondsindet nyttelast. Vi finder færre og færre lækketest, der stadig fungerer under moderne Windows-versioner.

I den anden ende af spektret konfigurerer de bedste firewalls automatisk netværkstilladelser til kendte gode programmer, eliminerer kendte dårlige programmer og øger overvågningen af ​​ukendte. Hvis et ukendt program forsøger en mistænkelig forbindelse, starter firewall'en på det tidspunkt for at stoppe den.

Software er ikke og kan ikke være perfekt, så de onde fyre arbejder hårdt for at finde sikkerhedshuller i populære operativsystemer, browsere og applikationer. De planlægger udnyttelser for at kompromittere systemsikkerheden ved hjælp af alle sårbarheder, de finder. Naturligvis udsteder producenten af ​​det udnyttede produkt en sikkerhedspatch så hurtigt som muligt, men indtil du faktisk anvender denne patch, er du sårbar.

De smarteste firewalls opfanger disse udnyttelsesangreb på netværksniveau, så de aldrig engang når din computer. Selv for dem, der ikke scanner på netværksniveau, udsletter antiviruskomponenten i mange tilfælde udnyttelsens malware-nyttelast. Vi bruger CORE Impact penetrationsværktøjet til at ramme hvert testsystem med cirka 30 nylige udnyttelser og registrere, hvor godt sikkerhedsproduktet afskærmede dem.

Endelig kører vi en sundhedsundersøgelse for at se, om en malware-koder let kunne deaktivere sikkerhedsbeskyttelse. Vi ser efter en tænd / sluk-switch i registreringsdatabasen og tester, om den kan bruges til at slukke beskyttelsen (skønt det er mange år siden, at vi fandt et produkt sårbart over for dette angreb). Vi forsøger at afslutte sikkerhedsprocesser ved hjælp af Task Manager. Og vi kontrollerer, om det er muligt at stoppe eller deaktivere produktets væsentlige Windows-tjenester.

Test af forældrekontrol

Forældrekontrol og overvågning dækker en lang række programmer og funktioner. Det typiske forældrekontrolværktøj holder børn væk fra usmagelige steder, overvåger deres internetforbrug og lader forældre bestemme, hvornår og hvor længe børnene må bruge internettet hver dag. Andre funktioner spænder fra at begrænse chatkontakter til patruljering af Facebook-indlæg til risikable emner.

Vi udfører altid en sundhedstjek for at sikre, at indholdsfilteret faktisk fungerer. Det viser sig, at finde pornosider til test er et øjeblik. Næsten enhver URL, der består af et størrelse adjektiv og navnet på en normalt dækket kropsdel, er allerede et pornoside. Meget få produkter mislykkes i denne test.

Vi bruger en lille intern browserværktøj til at kontrollere, at indholdsfiltrering er browseruafhængig. Vi udsteder en tre-ordet netværkskommando (nej, vi offentliggør den ikke her), der deaktiverer nogle simpelt indholdsfiltre. Og vi kontrollerer, om vi kan undgå filteret ved at bruge et sikkert anonymiserende proxy-websted.

At indføre tidsbegrænsninger på børnenes computer- eller internetbrug er kun effektiv, hvis børnene ikke kan forstyrre tidtagerne. Vi kontrollerer, at tidsplanlægningsfunktionen fungerer, og prøv derefter at undgå den ved at nulstille systemdato og -tid. De bedste produkter er ikke afhængige af systemuret for deres dato og klokkeslæt.

Derefter er det blot et spørgsmål om at teste de funktioner, som programmet hævder at have. Hvis det lover muligheden for at blokere brug af specifikke programmer, engagerer vi denne funktion og forsøger at bryde den ved at flytte, kopiere eller omdøbe programmet. Hvis det siger, at det striber dårlige ord fra e-mail eller instant messaging, tilføjer vi et tilfældigt ord til bloklisten og kontrollerer, at det ikke bliver sendt. Hvis den hævder, at det kan begrænse kontakter med onlinemeddelelser, opretter vi en samtale mellem to af vores konti og forbyder derefter en af ​​dem. Uanset kontrol- eller overvågningskraft, som programmet lover, gør vi vores bedste for at sætte det på prøve.

Fortolkning af Antivirus Lab-tests

Vi har ikke ressourcer til at køre den slags udtømmende antivirus-tests, der udføres af uafhængige laboratorier rundt om i verden, så vi følger nøje med på deres fund. Vi følger to laboratorier, der udsteder certificeringer og fire laboratorier, der regelmæssigt frigiver scorede testresultater ved hjælp af deres resultater til at informere vores anmeldelser.

ICSA Labs og West Coast Labs tilbyder en bred vifte af sikkerhedscertificeringstest. Vi følger specifikt deres certificeringer til detektion af malware og til fjernelse af malware. Sikkerhedsleverandører betaler for at få testet deres produkter, og processen inkluderer hjælp fra laboratorierne til at løse eventuelle problemer med at forhindre certificering. Det, vi ser på her, er det faktum, at laboratoriet fandt produktet betydeligt nok til at teste, og sælgeren var villig til at betale for test.

Med base i Magdeburg, Tyskland, sætter AV-Test Institute løbende antivirusprogrammer gennem en række forskellige test. Den, vi fokuserer på, er en tredelt test, der tildeler op til 6 point i hver af tre kategorier: Beskyttelse, ydeevne og anvendelighed. For at opnå certificering skal et produkt tjene i alt 10 point uden nuller. De allerbedste produkter tager perfekte 18 point hjem i denne test.

For at teste beskyttelse udsætter forskerne hvert produkt for AV-tests referencesæt på over 100.000 prøver og for flere tusinde ekstremt udbredte prøver. Produkter får æren for at forhindre angreb på noget tidspunkt, det være sig at blokere adgangen til den webadresse, der er vært for malware, opdage malware ved hjælp af underskrifter eller forhindre malware i at køre. De bedste produkter når ofte 100 procent succes i denne test.

Ydeevne er vigtig - hvis antivirussen mærkbart sætter et træk i systemets ydeevne, vil nogle brugere slå det fra. AV-Tests forskere måler forskellen i tid, der kræves for at udføre 13 almindelige systemhandlinger med og uden det tilstedeværende sikkerhedsprodukt. Blandt disse handlinger er at downloade filer fra Internettet, kopiere filer både lokalt og på tværs af netværket og køre fælles programmer. I gennemsnit adskillige kørsler kan de identificere, hvor meget indflydelse hvert produkt har.

Brugervenlighedstesten er ikke nødvendigvis hvad du skulle tro. Det har intet at gøre med brugervenlighed eller design af brugergrænseflade. Snarere måler den brugervenlighedsproblemerne, der opstår, når et antivirusprogram fejlagtigt markerer et legitimt program eller et websted som ondsindet eller mistænkeligt. Forskere installerer og kører aktivt en stadigt skiftende samling af populære programmer og bemærker antivirusens underlige opførsel. En separat test, der kun er scan, for at sikre, at antivirus ikke identificerer nogen af ​​over 600.000 legitime filer som malware.

Vi samler resultater fra fire (tidligere fem) af de mange test, der regelmæssigt er frigivet af AV-Comparatives, som er baseret i Østrig og arbejder tæt sammen med University of Innsbruck. Sikkerhedsværktøjer, der består en test, modtager standardcertificering; dem, der mislykkes, udpeges som blot testet. Hvis et program går ud over det nødvendige minimum, kan det tjene Advanced eller Advanced + -certificering.

AV-Comparatives fildetekteringstest er en enkel, statisk test, der kontrollerer hver antivirus mod ca. 100.000 malware-prøver med en falsk-positiv test for at sikre nøjagtighed. Og performance-testen, ligesom AV-Test's, måler enhver indflydelse på systemets ydelse. Tidligere inkluderede vi den heuristiske / adfærdstest; denne test er faldet.

Vi betragter AV-Comparatives dynamiske helprodukttest som den mest betydningsfulde. Denne test har til formål at simulere så tæt som muligt en faktisk brugeroplevelse, så alle komponenter i sikkerhedsproduktet kan gribe ind mod malware. Endelig starter saneringstesten med en samling malware, som alle testede produkter er kendt for at opdage og udfordrer sikkerhedsprodukterne til at gendanne et inficeret system, idet malware helt fjernes.

Hvor AV-test og AV-sammenligninger typisk inkluderer 20 til 24 produkter i test, rapporterer SE Labs generelt om ikke mere end 10. Det er i vid udstrækning på grund af arten af ​​dette laboratoriums test. Forskere fanger websteder, der er hostet til malware-hosting i virkeligheden, og bruger en genteknologi, så hvert produkt møder nøjagtigt det samme drive-by-download eller et andet webbaseret angreb. Det er ekstremt realistisk, men vanskeligt.

Et program, der totalt blokerer et af disse angreb, tjener tre point. Hvis det handlede, efter at angrebet begyndte, men formået at fjerne alle eksekverbare spor, er det værd at være to point. Og hvis det blot afsluttede angrebet uden fuld oprensning, får det stadig et point. I det uheldige tilfælde, at malware kører gratis på testsystemet, mister det produkt, der testes, fem point. På grund af dette har nogle produkter faktisk scoret under nul.

I en separat test vurderer forskerne, hvor godt hvert produkt afstår fra at fejlagtigt identificere gyldig software som ondsindet, vægte resultaterne baseret på hvert gyldigt programs udbredelse og på hvor stor en indvirkning den falske positive identifikation ville have. De kombinerer resultaterne af disse to tests og certificerer produkter på et af fem niveauer: AAA, AA, A, B og C.

• De bedste sikkerheds suiter for 2019 De bedste sikkerheds suiter for 2019
• Den bedste antivirusbeskyttelse for 2019 Den bedste antivirusbeskyttelse for 2019
• Den bedste gratis antivirusbeskyttelse i 2019 Den bedste gratis antivirusbeskyttelse i 2019

I nogen tid har vi brugt et feed af prøver leveret af MRG-Effitas i vores hands-on ondsindede URL-blokeringstest. Dette laboratorium frigiver også kvartalsresultater for to bestemte test, som vi følger. 360 Assessment & Certification test simulerer den virkelige verden beskyttelse mod nuværende malware, svarende til den dynamiske virkelige verden test, der bruges af AV-Comparatives. Et produkt, der fuldstændigt forhindrer enhver angreb fra prøvesættet, modtager niveau 1-certificering. Niveau 2-certificering betyder, at mindst nogle af malware-prøverne plantede filer og andre spor på testsystemet, men disse spor blev fjernet på tidspunktet for den næste genstart. Online bankcertificering tester meget specifikt for beskyttelse mod økonomisk malware og botnets.

Det er ikke let at komme med en samlet oversigt over laboratorieresultaterne, da laboratorierne ikke alle tester den samme samling af programmer. Vi har udtænkt et system, der normaliserer hvert laboratories score til en værdi fra 0 til 10. Vores samlede labresultatdiagram rapporterer gennemsnittet af disse scoringer, antallet af laboratorietest og antallet af modtagne certificeringer. Hvis kun et laboratorium inkluderer et produkt i test, anser vi det for at være utilstrækkelig information til en samlet score.

Du har muligvis bemærket, at denne liste over testmetoder ikke dækker virtuelle private netværk eller VPN'er. Test af en VPN er meget forskellig fra at teste enhver anden del af en sikkerhedssuite, så vi har leveret en separat forklaring på, hvordan vi tester VPN-tjenester.