Googles tensor-behandlingsenheder ændrer reglerne for maskinlæring

En af de mest interessante - og uventede - meddelelser, Google fremsatte på sin I / O-udviklerkonference i sidste uge, var, at den har designet og implementeret sine egne chips til maskinlæring. Under hans hovedtaler introducerede Googles administrerende direktør Sundar Pichai, hvad han kaldte Tensor Processing Units (TPUs), idet han sagde, at virksomheden brugte disse i sine AlphaGo-maskiner, som besejrede Go-mester Lee Sedol.

"TPU'er er en størrelsesorden højere ydelse pr. Watt end kommercielle FPGA'er og GPU'er, " sagde Pichai. Selvom han ikke gav mange detaljer, forklarede den fremtrædende hardwareingeniør Norm Jouppi i et blogindlæg, at en TPU er et brugerdefineret ASIC (applikationsspecifikt integreret kredsløb). Med andre ord, det er en chip, der er specifikt designet til at køre maskinlæring og specielt skræddersyet til TensorFlow, Googles ramme for maskinlæring.

Billede

I stillingen sagde Jouppi, at det er "mere tolerant" for nedsat beregningsnøjagtighed, hvilket betyder, at det kræver færre transistorer pr. Operation. Dette giver Google mulighed for at få flere operationer pr. Sekund, så brugerne får resultater hurtigere. Han sagde, at et bræt med en TPU passer ind i et harddiskdrev i dets datacentre-stativer og viste et billede af serverrack fyldt med TPU'er, som han sagde blev brugt i virksomhedens AlphaGo-maskiner.

Derudover sagde Jouppi, at TPU'er allerede arbejder på en række applikationer hos Google, herunder RankBrain, der bruges til at forbedre søgeresultaternes relevans og Street View for at forbedre nøjagtigheden og kvaliteten af ​​kort og navigation.

På en pressekonference bekræftede Googles VP for teknisk infrastruktur Urs Hölzle, at TPU kører ved hjælp af 8-bit heltalematematik i stedet for den højere præcision med flytende punktmatematik, som de fleste moderne CPU'er og GPU'er er designet til. De fleste maskinlæringsalgoritmer kan komme fint med data med lavere opløsning, hvilket betyder, at chippen kan håndtere flere operationer i et givet område og tackle mere komplekse modeller effektivt. Dette er ikke en ny idé; Nvidia Drive PX 2-modulet, der blev annonceret tidligere i år på CES, er i stand til 8 teraflops ved 32-bit flydende præcision, men når 24 dyb-lærende "teraops" (virksomhedens periode på 8 -bit heltal matematik).

Selvom Hölzle afviste at gå nærmere på detaljer, siger rapporter, at han bekræftede, at Google bruger både TPU'er og GPU'er i dag. Han sagde, at dette vil fortsætte i nogen tid, men foreslog, at Google betragter GPU'er som for generelle og foretrækker en chip, der er mere optimeret til maskinlæring. Han sagde, at virksomheden ville frigive et papir, der beskriver fordelene ved chippen senere, men gjorde det klart, at disse kun er beregnet til internt brug, ikke til salg til andre virksomheder. En anden applikation, han beskrev, var ved hjælp af chips til at håndtere en del af computeren bag stemmegenkendelsesmotoren, der blev brugt på Android-telefonen.

Valget om at bruge en ASIC er en interessant indsats fra Google. De største fremskridt inden for maskinlæring de seneste år - teknologien bag det store skub for dybe neurale net - har været vedtagelsen af ​​GPU'er, især Nvidia Tesla-linjen, til at træne disse modeller. For nylig købte Intel Altera, en førende producent af FPGA'er (feltprogrammerbare gate arrays), som er et sted i midten; de er ikke så generelle formål som GPU'er eller så specifikt designet til TensorFlow som Googles chip, men kan programmeres til at udføre en række forskellige opgaver. Microsoft har eksperimenteret med Altera FPGA'er med henblik på dyb læring. IBM udvikler sin TrueNorth Neurosynaptic-chip designet specielt til neurale net, som for nylig er begyndt at blive brugt i forskellige applikationer. Cadence (Tensilica), Freescale og Synopsys skubber deres DSP'er (digitale signalprocessorer) for at køre disse modeller; Mobileye og NXP annoncerede for nylig chips designet specielt til ADAS og selvkørende biler; og flere mindre virksomheder, herunder Movidius og Nervana, har annonceret planer for chips specifikt designet til AI.

Det er for tidligt at vide, hvilken tilgang der vil være bedst i det lange løb, men at have nogle meget forskellige muligheder betyder, at vi sandsynligvis vil se en interessant konkurrence i de næste par år.