Benchmarks er ikke nok, men heller ikke oplevelser

VIS ALLE BILLEDER I GALLERI

SAN FRANCISCO - For et år siden, efter at jeg deltog i Intel Developer Forum (IDF) i 2012, stillede jeg et spørgsmål inspireret af ting, jeg havde hørt fra de forskellige præsentanter og PR-folk på showet: "Hvordan benchmarker du oplevelser?" Den opfattelse, at folk flydede dengang var, at det, der virkelig betyder noget ved et system, er, hvor godt det fungerer, ikke hvor godt det scorer ved syntetiske ydelsestests. I dag har tilsyneladende ikke meget ændret sig.

Siden jeg fordybet mig igen i Intel's verden denne uge, har jeg fundet, at jeg står over for en vedvarende spærring af insistering på, at benchmark-tests i bedste fald er passé og vildledende, og at det at fokusere på brugen af ​​det endelige produkt er det, der er mest værdifuldt til forbrugere - eller i det mindste hvad der skal være. Ét tilfælde var særlig vokalt og gik endda så vidt at dissekere koden for nogle større stykker benchmarking-software (nej, vi fik aldrig at vide nøjagtigt hvilket) for at analysere årsagerne til, at de ikke var tillid til i første omgang.

Mærkeligt nok har Intel-repræsentanter gang efter gang under showet præsenteret, hvordan denne processor er så og så procentvis hurtigere end denne processor, hvordan vi skal se scoringer, men dog meget bedre denne gang. Og jeg blev inviteret til et arrangement på Intel campus i Santa Clara specifikt med det formål at køre test på virksomhedens nye Bay Trail tabletforarbejdningsplatform. Tilsyneladende er benchmarking-resultater stadig vigtige en gang imellem.

På et niveau er Intel helt korrekt i denne tankegang. Nej, benchmark-scoringer fortæller dig ikke alt om et produkt, og de alene vil aldrig være, hvordan nogen beslutter at købe denne enhed snarere end den. Ingen, fra teknologivirksomheder til techanmeldere til techforbrugere, bør udelukkende stole på dem, selvom de ved, hvordan de skal fortolke dem korrekt.

Men benchmark score er nyttige, måske endda vitale, til det punkt, hvor spørgsmål om "oplevelser" ophører med at være relevante. Ikke alle ved måske, om resultatet, de ser af en form for aktivitet, faktisk er godt eller blot okay, eller om et bestemt spil på det ser urimeligt skurrende ud, eller om det bare er det bedste, de kan forvente for de penge, de vil betale.

Scoringer fra en objektiv - eller, pokker, endda en bestemt ikke-objektiv - tredjepart, giver det afgørende sidste stykke i indkøbspuslespillet. Hvis to tabletter ser ud til at afspille video på nøjagtig samme måde, og det er det, du er interesseret i, hvilket skal du vælge? Hvis du ved, at du vil spille spil, men ikke personligt kender FRAPS fra en frappuccino, ser ikke en liste over sammenlignelige billedpriser den bedste måde for dig at få det bedste system til den bedste pris?

VIS ALLE BILLEDER I GALLERI

I sidste ende fortæller oplevelser heller ikke dig alt. Fokus på disse, ligesom at fokusere på benchmarks, giver et ufuldstændigt billede, der kan inspirere til mere forvirring end klarhed. At være opmærksom på et færdigt produkt giver mening af mange grunde, især blandt dem at det gør et virksomheds ret esoteriske produkter lettere for virksomheden at sælge og lettere for forbrugeren at forstå.

Mens jeg var i Santa Clara for Bay Trail-benchmarking-begivenheden, fik jeg også et spændende bag kulisserne et glimt af Intels "User Experience Lab", hvor en række test og målinger, der involverer alt fra computere til robotter til et hemi-anechoic kammer, er indsat for at bedømme brugen af ​​et systems komponenter. Kvaliteten af ​​lyd, bredde af synsvinkler og følsomhed på berøringsskærmen er vigtige problemer, der påvirker den daglige brug, og efter at have set Labet havde jeg en meget klarere forståelse af logikken bag Intels skubbeoplevelser i disse dage.

Hvad der sker i et testlaboratorium, og hvad der sker i din stue, er naturligvis ikke altid (hvis nogensinde) det samme; meget flere variabler kommer i spil, når du kommer hjem i systemet, og intet firma kan teste for alt hvad du måtte gøre med din computer. Intels strenge videnskabelige applikationer er et godt sted at starte, men som tilfældet med testresultatet antager folk på Intel så ofte, ikke et godt sted at stoppe.

I et computerlandskab, der forandrer sig hver dag, og, mere vigtigt, at blive mere og mere mainstream med hver forbipasserende generation, er overgangen fra benchmarks til oplevelser en god idé. Men indtil der er en gentagelig måde at bogstaveligt benchmark disse oplevelser på, så den interesserede forbruger ikke kun ved, hvad der betyder noget, men hvorfor det betyder noget, og hvordan det kan hjælpe, skal erfaringer og benchmarks arbejde sammen for at hjælpe forbrugerne med at få informationen, svarene og systemer, de har brug for.

VIS ALLE BILLEDER I GALLERI