Spol fremad: Thad starner taler google glas, hjælper hunde med at tale

Jeg var i Austin, Texas, sidste måned for SXSW Interactive, hvor jeg havde chancen for at sætte mig ned med en række tekniske industri-eksekutører til min videoserie Fast Forward, inklusive Chris Becherer, VP for produkt hos Pandora.

I denne udgave af Fast Forward taler vi med Thad Starner, professor i computere ved Georgia Tech. Thad var det tekniske forspring på et projekt, der til sidst førte verden til Google Glass, som han var iført under vores chat. Men han har været i det bærbare rum meget længere end det, og hans arbejde fokuserer på selve det menneskelige-maskins interface. Hans seneste arbejde involverer at opbygge tankelæsning, der kan bæres til hunde. Se vores chat i videoen og transkriptet nedenfor.

Dan Costa: Det er en travl SXSW. Der er meget snak om den øgede virkelighed. Der er meget snak om virtual reality. Bærbarheder er stadig et meget varmt emne. Når de fleste mennesker tænker på bærbare, tænker de på enten Google Glass eller en Fitbit, som du bærer på dit håndled for at spore dine trin. Hvad tænker du, når du tænker på wearables?

Thad Starner: Nå, for mig er det enhver computer, enhver kropsslitet enhed, der hjælper dig, mens du udfører en anden, primær opgave. Det er enhver computer-slidt computer, der er designet til at være sekundær. Det hjælper dig til nogle andre primære opgaver, som at besvare spørgsmål under en samtale.

Mine noter er på min iPad mini. Jeg bliver nødt til at kigge ned for at få de nyeste noter og for at få din titel korrekt. Du har ret i sig selv.

Ja. Alt hvad jeg skal gøre er at kaste et blik op, gribe et par ord og gå tilbage til samtalen. Mine gamle systemer, jeg ved ikke, om du kiggede på nogle af mine ældre billeder, men mine ældre systemer havde skærmen lige her. Faktisk var der en fra 1997, hvor den endda var i linsen. Det blev lavet af et firma kaldet Micro Optical på det tidspunkt. Det giver dig faktisk mulighed for at være temmelig let at have en intelligent assistent, der kan hjælpe dig fra sekund til sekund. Det ændrer virkelig din selvtillid og ændrer din evne til at gøre ting på farten, som du normalt kan snuble over.

Du var en af ​​de originale besætninger. Det ser ud til, at I næsten var i konkurrence for at se, hvem der kunne bygge det sejeste, mest sofistikerede, mest funktionelle bærbare system.

Jeg begyndte at oprette mit system tilbage i 1990, men jeg mislykkedes igen og igen. Det var først i '93, at jeg endelig havde et system, jeg kunne bære i min daglige liv. På det tidspunkt arbejdede jeg for et firma kaldet BBN. De var med til at fremstille de første routere til internettet. Efter at jeg havde sat enheden på, indså jeg inden for en måned, at det ikke bare var god forskning. Det var en god livsstil.

Det er det, disse enheder handler om. Det skaber en dræber livsstil for dig. Dengang havde jeg selvfølgelig en mobiltelefonforbindelse til internettet, der blev målt i fødder, ikke i bitrate. Med andre ord, hvor mange fødder kunne jeg gå, før det analoge mobiltelefonopkald faldt, og jeg var nødt til at genoprette forbindelsen?

Til sidst gik jeg tilbage til MIT Media Lab og begyndte at rekruttere flere og flere studerende, der var interesseret i dette. Vi havde en lille konvoy af mennesker, der lavede apparaterne til deres særlige behov, og vi regnede ud, hvordan vi kan leve som et samfund af cyborgs. Det ændrede, hvad vi tænkte om teknologien. Jeg giver dig et eksempel: Antag, at du kommer ind som VIP til at besøge laboratoriet. Vi får en person til at tale med dig om, hvad dine interesser er. Mens det sker, vil der være meddelelser, der går frem og tilbage mellem øjenkuglerne fra de andre medlemmer af gruppen, der prøver at planlægge din dag. ”Åh, han er meget interesseret i forstærkede sanser. Så du tager ham til frokost. Jeg bliver nødt til at gå til lægeaftalen kl. Tre, så jeg får ham kl. To.” Så du har disse mennesker til at skrive på deres tastaturer, der sender beskeder til hinanden, mens samtalen fortsætter med at planlægge en dag baseret på, hvad dine interesser er. Den kommer slags til telepatien.

Mange gange lyder det meget som Slack, hvor vi har kommunikation i realtid og forskellige segmenter, der tager form. Men i stedet for at gøre det terminalbaseret og gøre det tilsluttet en computer, hvor du skal være foran din bærbare computer eller telefon, er det uanset hvor du er. Du kan gøre to ting på én gang. Du kan have den samtale og planlægge frokost.

Nå, nej, du vil ikke gøre det. Din IQ falder med 40 point, når du prøver at gøre det. Hvad du vil gøre er at få computeren til at støtte samtalen. For eksempel har vi et system kaldet en Remembrance Agent, der har en lille støjdæmpende mikrofon, lytter til min side af samtalen, og alt hvad jeg siger bliver transkribert og sat i en tekstbuffer. Og så søger computeren konstant op tidligere e-mails, tidligere papirer, tidligere samtaler, der måske relaterer til det, vi taler om. Det trækker små påmindelser op i min visning af de detaljer, jeg måske vil medtage i denne samtale. Så det understøtter samtalen og giver mig information.

Jeg havde en studerende, der talte med mig om talegenkendelse - hvordan du vil bruge talegenkendelse med bærbare. Og jeg sagde, hvis du virkelig ønsker at gøre det, skulle du - og jeg trak mine noter op, mens vi har samtalen - jeg siger ham, du skal virkelig se på Steve Whittakers tale om Filochat fra 1995. Jeg tror han havde nogle gode detaljer om, hvordan op til 93 procent af folks dag tilbringes i opportunistisk kommunikation. Jeg gav ham alle disse detaljer. Min studerende så lige på mig som "hvordan ved du alt dette?" Det er okay her. Jeg vidste nok til at lede efter Steve Whittaker, og derefter forsynede computeren mig med alle detaljerne. At have den slags support i realtid er virkelig slags fantastisk.

Vi har også gjort det før, hvor jeg holdt noget vidnesbyrd på National Academy of Sciences i Washington, DC om at forstærke mennesker. Jeg viste dem, hvad jeg gjorde. Jeg havde mine studerende, mine gradstuderende, tilbage på Georgia Tech - så jeg var i DC, mine studerende på Georgia Tech lytter i, og jeg viste også alle, at jeg havde en live feedback til Georgia Tech. Jeg lagde både mine præsentationsnotater og mine studerendes notater, som de antydede i realtid.

Så mens jeg vidnede, sagde de, "Åh, du skulle tale om dette, " og de kastede mig en URL, "eller du burde tale om dette" og smide ting op og give andre oplysninger. Panelet, der interviewede mig, begyndte de at stille spørgsmål til studerende, ikke om mig.

Jeg var bare en slags ansigtsmand for al denne viden om dette konsortium af mennesker tilbage på laboratoriet, som hurtigt kunne svare på spørgsmål, fordi de var eksperter på området. Men de kunne slå information meget hurtigere op end jeg kunne. De brugte mig simpelthen til at tale igennem. Disse intellektuelle kollektiver, denne evne til at gå til eksperter og være i stand til at hjælpe dig med et øjeblik varsel, er en ganske kraftig ting. På den anden side, hvis du prøver at sige "Læs e-mail", mens du har en samtale, lyder du som en idiot. Mennesker kan ikke multi-task meget godt.

Det er ikke multi-tasking. Det er virkelig augmentation.

Ret.

Det ser ud til, at arten af ​​at være smart, videnes natur, intelligensen er ændret. Du plejede at huske alle disse ting for at have en samtale med det uden at henvise til dine noter, og det er ikke paradigmet længere. Du skal bare vide, hvilke spørgsmål du skal stille og være tilsluttet et system, der kan levere disse svar til dig.

Der er en bestemt mængde information, du har brug for for at internalisere, så du hurtigt kan slå den op og være i stand til at tænke i disse områder, men for en masse andre ting, vil du bare have verdens viden til hånden og få den leveret op når du har brug for det. Denne idé om just-in-time indhentning af information er meget kraftig. Det er hvad jeg tror vil ske inden for de næste fem eller 10 år. Vi vil have disse intelligente assistenter, der kan hjælpe os på sekund for basis.

Det er en af ​​de store ting ved bærbare computere. Hvad jeg tror definerer bærbare computere er, at det er noget, hvor computeren bliver en del af os. Du har sandsynligvis brugt kikkert før ikke? Det er noget, du henter. Du ser på noget i det fjerne. Du justerer fokus. De er lidt fin, ikke? Du er nødt til at holde dem lige ret og justere fokus, hver gang du skifter fra et emne til et andet. Du lægger dem ned, op og ned. Du tænker ikke på din kikkert som en del af dig. Men dine briller, du tager dem på, og du bruger dem hele dagen. Du ser gennem dem. Du tænker ikke på dem. Du bruger dem bare. Så hvad vi har lige nu med de fleste af disse enheder, de fleste af disse computere, vores smartphones, vores tabletter; de er ikke en del af os. De er andre.

Så snart du får enhederne tæt på kroppen, pludselig kommer teknologien ud af vejen. Det er paradokset for bærbare computere. Ved at bringe teknologien tæt på kroppen, får den den ud af vejen. Jeg tror, ​​det er her, vi skal hen i fremtiden. Vi vil se flere og flere måder for teknologi til at hjælpe os, gøre os mere magtfulde, mere uafhængige, mere selvsikre og mere informerede på et split sekund for split-sekund basis. Jeg vil se disse intelligente assistenter gå fra noget, du taler med; til noget, der er en del af dig. Noget, der hjælper dig fra det ene øjeblik til det næste meget proaktivt.

Jeg tror, ​​at begrebet at opleve verden gennem teknologien i stedet for bare at bruge teknologien, er en afgørende forskel.

Det er den oplevelse, jeg har arbejdet mod. Meget af det er simpelthen adgangshastigheden. Larry Page sagde til mig, "Det handler om at reducere tiden mellem intention og handling." Jeg var bedøvet. Jeg har forsøgt at formulere vigtigheden af ​​hastigheden på adgang til en enhed. Her gjorde han det i én sætning. Tiden mellem intention og handling er afgørende.

En af demoerne, jeg gør, er at have alle til at udføre to opgaver. Jeg får dem til at løfte deres hånd, når de har afsluttet hver opgave. Så jeg siger noget som "Okay, hvad er klokken?" Jeg løfter min hånd, fordi min tid er foran på min skærm lige nu, og mit publikum afslutter også opgaven meget hurtigt. Så den anden opgave, jeg har dem, er at besvare et spørgsmål som "hvor er Mount Pinatubo?" Jeg kan løfte hånden, fordi jeg stillede spørgsmålet fik svaret på min skærm lige nu. Det er på Filippinerne, og faktisk har jeg et lille kort over hvor det er lige nu på min skærm.

Det er så svært for mit publikum at komme hurtigt til disse oplysninger, at de ikke engang gider at gøre det. Jeg taler om tekniske målgrupper som Xerox Park eller Georgia Tech eller Stanford. Så her er jeg, i et publikum fuldt af nerder, laver et eksperiment med dem, og de fleste af dem gider ikke engang at prøve at komme til disse oplysninger, fordi de ved, at det vil tage for lang tid.

Hvad hvis vi kan ændre det fra noget, der tager for lang tid til noget, der er så let som at kontrollere tiden. Pludselig gør du mennesker meget mere magtfulde. Hvis du kan reducere tiden for intension til handling til inden for to sekunder eller mindre, vil pludselig folk gøre det uden at tænke over det. Det er en del af dem. Når det når mere end to sekunder, brug går eksponentielt ned, og folk tænker på som en "anden".

Før vi begyndte at optage, talte vi om skytshelgener. Og vi prøvede at finde ud af, hvad Saint Stanislaus var skytshelgen for. Jeg har en internetforbundet tablet i hånden. Jeg ville have informationen. Men jeg gider ikke at åbne Google, skrive det ind og søge efter det, fordi jeg var ligeglad med så meget. Men bare ved at have den samtale dukkede den op på din skærm.

Jeg mener, jeg har det her. Jeg spurgte bare. Dette er mere eksplicit. Jeg sagde simpelt hen: ”Sankt Stanislaus var skytshelgen for?” - svaret er Polen - og dukkede derefter op et par sekunder senere. Det er ret magtfuldt. Det reducerer slags modvilje mod at prøve at finde information om det i verden. Det er fantastisk for mig som professor, fordi det får mig til at virke mere intelligent end jeg er.

Dette er noget, der skete, da jeg var studerende på MIT. Jeg tog en klasse fra Justine Cassell, og det handlede om håndbevægelse . Under en gennemgang før den afsluttende eksamen spurgte hun: "Hvad var vigtigheden af ​​Deixis?" Jeg havde alle mine klassebeskeder på min computer, og jeg kunne få adgang til det meget hurtigt med dette tastatur. Det var inden taleegenkendelsen blev meget god. Hvad jeg ville gøre er at konstruere mine sætninger, så jeg kunne finde svaret i tide til at afslutte en sætning.

Så jeg rakte min hånd for at besvare spørgsmålet. Hun kaldte mig. Jeg sagde, "I starten af ​​klassen sagde vi, at vigtigheden af ​​deixis var uh, uh, uh, um, " fordi jeg begik en fejl. Jeg faldt mit tastatur. Jeg kom i den forkerte tilstand af E-Macs. Jeg sagde, "Jeg bliver nødt til at vende tilbage til dig. Jeg kom i den forkerte tilstand."

Hele klassen brød op og griner. De havde tilbragt al denne tid sammen med mig og var ikke klar over, at jeg gjorde det dagligt. En professor, der tog klassen med mig, læner sig og sagde, "Nu vil jeg have en. Du gør dette hele tiden, ikke? Du kan hente information så hurtigt. Det ser ud til, at det er en del af dig." Ja, det er nøjagtigt grunden til, at jeg gør det.

Det var forbløffende, at disse professorer og studerende, som jeg havde arbejdet med i årevis, aldrig indså, hvor meget hjælp det udstyret giver mig. Første gang jeg holdt en professionel tale, kom en af ​​de seniorstuderende op og sagde til mig, "Thad var det den bedste snak, jeg nogensinde har hørt, at du holdt, men hvorfor bærer du din computer?"

Hun anede ikke, at selvom de fleste mennesker har 3-til-5 indekskort, har jeg det her oppe. At have den slags hjælp gjorde mig til en bedre taler. Det var bare blæst for folk på det tidspunkt, at du kunne bruge din maskine på denne måde.

Så lad os lave en lille drejepunkt. Vi har talt meget om menneskelige wearables. Du arbejder med hunde nu. Forklar det arbejde, du laver.

Projektet kaldes FIDO, Facilitating Interactions for Dogs with Occupations. Ja, det er et akronym, men det er en sød. Ideen er, at der er alle disse arbejdshunde derude. Hunde, der er alarmerende hunde eller medicinske alarmhunde, søgning og redning, bomberegistrering, inspektion af TSA for smugling eller landbrug. Disse hunde gør en masse job, men de har det meget vanskeligt at kommunikere, hvad de føler, og hvad de tænker til deres håndterere.

Vi havde en af ​​vores undervisere for et par år siden til at lave en demonstration. Hun er diabetiker og en af ​​disse mennesker, der bare kan besvime af mangel på blodsukker. Hun har en hund, der er trænet til at reagere på den opmærksomme situation. Hunden går og finder den nærmeste person, griber dem og prøver at bringe dem til hende, fordi hun snart vil gå ud.

Før hun er ved at besvime, går det og får hjælp?

Ja. Det kan faktisk fornemme den ændring i kropskemi fra lugt , og få hjælp. Dette skete ved sikkerhedsporten i Atlanta lufthavn, og hunden gjorde, hvad den blev trænet til at gøre - gik op på en TSA-sikkerhedsofficer. Sikkerhedsofficeren troede bare, at hunden var venlig, men vores træner sagde: "Jeg vil besvime om et sekund. Jeg er nødt til at sætte mig ned." Du kan forestille dig, at det ville være meget bedre, hvis hunden kunne tale.

Så vi har lavet en vest, hvor hunden går og kommunikerer alarmer ved at trække i vest. Når sensoren er aktiveret og siger, "Følg mig. Min ejer har brug for din hjælp." Naturligvis tror folk, at de første gang du tester dette, bliver pranked, eller de tror bare ikke på det. Talte denne hund bare med mig?

Det er en lydoptagelse af en menneskelig stemme, der faktisk siger den sætning?

Ja. Vi er nødt til at træne hunden til at gøre det to gange, fordi første gang mennesker ikke tror på det.

Siger hunden anden gang, "Nej, virkelig! Jeg mener det denne gang?"

Nej, vi skal bare gentage den samme ting, og det ser ud til at virke. Vi tester det stadig ud. Vi er nødt til at teste det ud på nogle intetanende mennesker hos Georgia Tech og se, hvad de siger. Hvis det sker med dig, ved du, at det er en del af vores test. Vi har en af ​​vores assistenthunde i træning, der kommer her for at udføre denne demonstration.

Denne hund skal lære nye tricks klokken 14 i eftermiddag?

Faktisk troede vi oprindeligt, at vi ville have problemer med at bringe hunden til SXSW, og så vi træner en masse træning i dag for at kunne vise hvad vi vil.

Ideen om, at disse hunde har alle disse opfattelser, som de kan artikulere til os, er slags ny. Vi havde noget tryk på vores FIDO-vest, og vi fik et opkald fra Georgia Tech-politiet, der spurgte, om vesterne kunne bruges til hunde, der bombesnusede. Vi blev overrasket over at høre, at de har bombe-sniffende hunde, forklarede, at hundene bruges til at scanne sportshallen før folk kommer ind. "Vi er ligesom, " Åh. Fortæl os om bombesnugning. ”Vi er interesserede at lære mere .

Det viser sig, at hundene er trænet til ting som pistolpulver og C4, men også ting som peroxidbomber, som… lugter meget anderledes. Peroxidbomber er også meget ustabile. Hvis du får en af ​​dem, vil du ikke have hunden eller behandleren et sted i nærheden af ​​den. Kruttet eller C4 er meget stabile, og det er ikke et problem. Hvad Georgia Tech-politiet ønskede at gøre, var at hundene havde deres vest med to små træklegetøj. Hvis hunden lugter pistolpulver , de trækker pistolpulveret et og det geo-lokaliserer dem, og den viser hundens placering på officerens display, hvor hunden er. Derefter ved de, at der er en bombe her, men det er en stabil bombe, og de kan bare kommandere hunden til at blive der og bare bjælke på bomben, indtil de kan finde den hurtigt.

Hvis hunden trækker på den anden side af vesten, er det en peroxidbombe. Vi ved, at det er ustabilt, og så husker du faktisk hunden for at få den ud af vejen, og så sender du en anden type bortskaffelsesenhed.

Det samme med søgning og redning… og disse TSA landbrugshunde efter hvad de lugter i folks bagage. Du kan og endda gøre dette til inspektion af landmændens marker. Der er nogle ting som søde kartoflerot, hvor du ikke kan fortælle udefra, at der er et problem. Det er en ny ting i North Carolina, der bare herjer deres afgrøder. Hundene kan lugte det. Du kan sende hundene ud og have dem, så de kan søge i felterne, indtil de finder dem. Hvis de finder det, advarer de. Du kan se, hvor de er. Du går derhen. Du kan se, hvor de er placeret, grave op rødderne, bekræfte, at den faktisk rådner, og så slipper du af med den del af marken og starter igen.

Det viser sig, at når vi først begynder at bruge disse hunde til at gøre disse ting, kommer flere mennesker ud af træværket, opdages nye applikationer. For eksempel hunde, der sniffer trøfler.

Det var hvad jeg tænkte.

Det er en af ​​mine favoritter. Vi har en hobby, der vil lege med os nu på den.

Kan jeg låne hunden i weekenden?

Nemlig.

Det, jeg kan lide ved det, er, at du giver mennesker adgang til hundens opfattelser, som på mange måder er overlegne mennesker, og bare bruger teknologien til at give dem mulighed for at kommunikere disse opfattelser.

Deres lugtesans er 100 gange bedre end noget andet, vi gør elektronisk. De har meget god sans for at høre. Deres syn er ikke så god som vores, men de opfatter anderledes. Hvis vi bare tillader dem at faktisk kommunikere bedre, kan vi måske lære meget mere om, hvad de er i stand til at gøre, og hvordan de muligvis udfører deres job bedre. Naturligvis synes hundene, at dette er sjovt. Dette er alt spillet for dem.

Lad os gå videre til haptisk feedback og haptisk læring og nogle systemer, du har lavet der. Er det sandt, at du kan lære nogen at spille klaver uden faktisk at spille klaver ?

Det er ret vanvittigt. Vi kalder denne ting for passiv haptisk passiv feedbackindlæring. Det er en af ​​de superkræfter, som bærbare computere kan give dig. Ideen om, at den kan lære dig en kompleks mekanisk opgave eller en kompleks manuel opgave uden din opmærksomhed. Det er lidt overraskende. Vi har gjort dette med klaver flere gange.

Antag, at du vil lære Beethovens "Ode til glæde." Det er en af ​​de enklere dem, vi bruger til vores demonstrationer. Vi har du lagt på en handske, og handsken har lidt vibrationsmotorer på hver finger. Du tager dit Bluetooth-headset på, og det spiller bare sangen igen og igen, mens du og jeg taler, eller du læser e-mail, eller du kører, uanset hvad. Du ignorerer det, og det spiller bare sangen igen og igen. Når hver note spilles, banker den på fingeren, der hører til den note. Efter 20 minutter har du den første strofe af "Ode til glæde."

De næste 20 minutter har du det andet. På cirka en time og 30 minutter af netop denne tappning, var vi nødt til at bryde det op i de rigtige bidder, men efter cirka en time og tredive minutter har du hele sangen. Hvis du lægger fingrene ned, så lægger du hånden ned på klaveret, markerer vi, hvor den første note er fordi Ellers du ved ikke, og din hånd bliver besat, og den spiller bare sangen den. Det er en af ​​disse ting, at hvis du fokuserer på det for meget, kan du ikke gøre det, men hvis jeg distraherer dig, kan du det.

Du spiller sangen, og jeg forestiller mig, at du spiller lydene tilbage i dit hoved for at prøve at ramme de samme toner.

Vi gjorde dette med Chad Myers på CNN en gang. Han har intet musikalsk talent. Vi lagde den på hans hånd, mens han sporede efter en orkan i Golfen og førte ham derefter ud live på CNN. Du kunne se ham have denne sceneskræk. Denne fyr er foran 20 millioner mennesker hver dag, men alligevel får sceneskræk, når han lægger hånden på klaveret. Man kunne se, at han ikke engang vidste, hvad sangen var. Han begynder bare at tappe på det. Han ved ikke, hvad det skulle være, men når han fortsætter, genkender han melodien. Pludselig bliver hans rytme bedre, og han gentager den derefter. Han bliver bedre og bedre til det, når han går. Du kunne se denne "åh mit ord" åbenbaring på hans ansigt. Efter at have gjort det mod mig selv et par gange, vil jeg sige, det er en meget underlig ting.

Det, vi prøver at gøre nu er figur hvor langt vi kan gå med det. Vi startede med kun en enkelt note, enkelthåndsmelodier. Derefter har min studerende, Caitlyn, fundet ud af, hvordan man laver akkorder. Nu er vores standardværk Mozarts tyrkiske marts. For folk, der er musikere, ved du, at to hænder er meget forskellige, meget forskellige rytmer på dem. Det er et kompleks nok stykke, at det er ikke-trivielt at lære det. Vi tager komplette nybegynder, kaster handskerne på deres hænder og efter nogle få sessioner spiller de dette komplekse stykke. Jeg siger ikke, at de er gode musikere, men jeg siger, at de kender notesekvensen. Vi blev interesseret i derefter hvad ellers kunne vi være i stand til at undervise.

En af de ting, vi begyndte at se på, var at skrive. Da vi fundet ud af, hvordan man laver akkorder, forsøgte vi at gøre blindeskrift. Braille involverer disse seks fingre, så det er prikkerne, eller disse otte fingre, hvis du gør den udvidede form af det. De fleste mennesker gider ikke at lære braille, når de bliver ældre, når de mister deres syn. Det er også en rigtig krise med studerende. Cirka 40 procent af dem lærer aldrig blindeskrift i det mindste ikke tilstrækkeligt nok til at kommunikere med at bruge den. At lære blindeskrift for en blind studerende er en af ​​de store indikatorer på fremtidig uddannelsesmæssig fremgang samt økonomisk succes. Disse braillelærere, der underviser i braille, er rejsende, bevægende. De går bare fra skole til skole, fordi der ikke er nok krav om at have en fast lærer på en bestemt skole.

Vi begyndte at se på at lave handsker, der kunne lære folk braille passivt. Svaret var ja. Om fire timer kan jeg give dig en øreprop og disse handsker. Mens du laver, og du kan gøre, hvad du vil, og det gentager sig bare tilbage til dig, "Den hurtige brune ræv springer over den dovne hund." Det gør hvert bogstav ad gangen, og du føler brevet på fingrene. Efter cirka fire timer af dette siger jeg, "Hvad er bogstavet G, " og du ved, at det er det. Hvad er bogstavet A, ”ved du, det er at. Ikke kun kan du skrive det, men du kan føle det. Du løber din finger over kerner og ved, hvordan man skriver brevet. Du går, "Okay, nu hvordan skulle jeg skrive det? Okay, så det er G." Til vores overraskelse fungerer det bare.

Hvad tror du, der sker i hjernen for at muliggøre den slags forbindelse? Fordi det ikke er bevidst, og det er heller ikke bare intellektuelt? Det er noget andet mellem sindet og kroppen.

Der er meget, jeg virkelig ikke kender. Men der er nogle spekulationer fra en kollega af mig, der mener, at det, der sker, er, at berøringsfølelsen er en meget tidligere evolutionær menneskelig sans, som mennesker fik evolutionært. Næsten alle dyr har en følelse af berøring. Det ser ud til at passe til tanken om, at berøring er en del af en meget lavt fungerende del af vores hjerne, meget lav øgle hjerne type ting. Måske er det eksponeringen, der virkelig konditionerer os til at genkende disse mønstre. Mens du prøver at lære noget som sprog, når du sover, fungerer det ikke rigtig godt, fordi lyd er en meget højere hjerne-ting. Derfor forventede vi ikke, at eksperimentet med tekstindtastning ville virke. Musik er meget lav hjerneindhold, mens sprogsystemer betragtes som højere hjernefunktion.

Det er ikke sprogrelateret.

Ret. At læring af tekstindtastning virkede var en overraskelse for os. Vi er ikke helt sikre på, hvor langt vi kan gå. Kan vi undervise i tegnsprog? Kan vi undervise i dans? Kan vi hjælpe eksperter med at blive mere effektive? En af de ting, vi gerne vil gøre, er at få nogle baseball pitchers og registrere deres armbevægelser og se, om vi kan spille det tilbage til dem i deres nedetid og øge deres konsistens.

Jeg aner ikke, om noget af dette kommer til at fungere. En ting, vi forsøgte, var dog Morse Code. Braille er bare en nøglesekvens. Morskode er rytme.

Vi fandt, at vi kan bruge induktionstransduceren på glas. At trykke på siden af ​​dit hoved. Nu fungerer dette normalt ved at vibrere din kranium og sende lyden direkte til din cochlea ved at omgå din trommehinden. Dette er grunden til at jeg kan bære dette og få små advarsler og ikke have noget der blokerer for mine ører, men hvis dit hit med 15 hertz føles det som et tryk.

Vi startede med "hurtige brune rævehopp over den dovne hund" stiltræning, men nu tapper vi bare siden af ​​dit hoved i Morse Code og tro det eller ej om 4 timer igen - det virker som den magiske tid for alfabetet - De fleste af vores deltagere gik ned til 0-fejl… når vi beder dem om at skrive S. Vi kan vise dem bindestreger og prikker på papir, og de kan skrive bogstaverne til det. Vi kan tappe på siden af ​​deres hoved igen, og de kan vide, hvilken besked vi sender.

Så fire timer, og vi får dem til at gøre dette under et videospil. Så vi sørger for, at vi distraherer dem med et videospil. Videospil viser sig at være den mest effektive distraktion.

Vi har vidst det i meget lang tid.

Det er rigtigt. Vi prøver kandidateksamener. Giv dem læseforståelse eller matematikproblemer. Det viser sig, at den eneste, der distraherer, er videospil.

Det er en interessant ting. Vi talte lige med Poppy Crum tidligere i dag om lyd og blanding af sanser. Der er en masse AR på dette show; der er en masse virtual reality. Nogle af de mest interessante ting sker ikke kun i én forstand, men i en samling sanser. Så i denne samtale har vi talt om det visuelle rum, vi har talt om lydområdet og også det fysiske. Den taktile fornemmelse. Når du sætter alle disse ting sammen, ser det virkelig ud som om virkelig interessante ting begynder at ske.

Det er det hele. Det er ikke kun syntesen eller sanserne. Det er også det faktum, at det er noget, du kan bære med dig hele dagen. Når du først har den slags nærhed til kroppen, kan du gøre alle slags ting med kroppen, som vi ikke tænkte på før.

Passiv taktil tapning af læring er en, og en anden ting, der kom op, var passiv taktil tapning af rehabilitering. Dette var også en ganske overraskelse for os. Vi havde et åbent hus, der demonstrerede vores klaverspil og en af ​​vores kolleger i Shepherd Center - som gør en masse arbejde med rygmarvsskader - hun kom forbi og sagde: "Hej, jeg vil have dette til mine patienter." Jeg kunne ikke forstå, hvorfor hun ville have folk med tetraplegia til at praktisere klaver. Hun sagde: "Nej, du forstår ikke, Tetraplegia betyder bare, at alle fire lemmer er påvirket. Mine patienter med delvis rygmarvsskade har stadig nogle fornemmelser og en vis fingerfærdighed. Jeg ved, hvis vi lægger dine handsker på dem og træner dem til at spille klaver, at de faktisk genvinder en fornemmelse; forbedrer deres fornemmelse og fingerfærdighed."

Hun havde ret. Vi underviste i otte forskellige sange omkring otte forskellige sange. Deltagerne ville have handskerne to timer om dagen, fem dage om ugen og derefter have klaverundervisning tre gange om ugen. I slutningen af ​​de otte uger gjorde deltagerne, der havde handskerne, meget bedre. De havde betydelige forbedringer i deres håndfornemmelse og fingerfærdighed sammenlignet med de mennesker, der netop havde normal klaverundervisning.

Så denne idé om, at vi kan gøre rehabilitering, at vi kan narre din hjerne til at afsætte flere og flere ressourcer til at forklare disse signaler, der kommer ud fra din hånd, er bare forbløffende. Jeg ved ikke, om du nogensinde har haft et brudt ben eller haft en forælder, der havde haft en hofteoperation, men rehabilitering tager lang tid. Det er meget kedeligt, og det er svært at gøre det sjovt. Det er svært at få overholdelse. Hvis jeg bare kan lægge en handske på og få rehabilitering, og forresten, vil vi give dig denne superkraft, som du vil lære at spille klaver i slutningen af ​​det, det er slags motiverende for en mange mennesker.

Det er hvad vi i øjeblikket gør. Vi gør det lige nu. Vi forsøger at se, om dette kan hjælpe med genopretning af håndfølelse efter slagtilfælde. Hvis det viser sig at arbejde, er der en million mennesker om året, som vi måske kan hjælpe. Det er meget spekulativt. Vi har ingen idé om, om det vil arbejde eller ej, men vi får se.

Okay. Lad os komme til nogle spørgsmål, jeg stiller alle mine gæster. Hvilke teknologitendenser ser du lige nu, der bekymrer dig mest? Hvad holder dig op om natten?

Meget lidt holder mig op om natten. Jeg sover ganske godt.

Du har tre job.

Jeg har tre job. Jeg har ikke tid til at sove. Mange menneskers bekymringer om teknologi er det, du ser i pressen. Virkeligheden er meget kedeligere end hvad mange kommentatorer vil føre dig til at tro eller filmene vil. Jeg gætter det, jeg bekymrer mig mest om, er det ekkokammer, som sociale medier kan forårsage. Folk kan tro pseudovidenskab. Folk kan blive ført til at tro ting, der bare ikke er sandt. Folk kommenterer mit arbejde, og det er forkert, som jeg er.

Jeg arbejder meget med det døve samfund. Det viser sig, at undervisning i dit barn tegnsprog vil hjælpe dem med at tilegne sig sprogfærdigheder hurtigere. I den længste tid troede folk, at hvis du lærer dine børn tegnsprog, vil det forsinke indtræden af ​​normal tale. Det er netop forkert. Undervisning i tegnsprog fra fødslen ser ud til at hjælpe med at forbedre alles sprogfærdigheder.

De fleste børn kan ikke rigtig forme ordene sammenhængende, før de er 12 måneder gamle. De kan begynde at danne tegnene, du ved ting som mælk eller mad. Det kan de gøre efter seks måneder. At have børn i stand til at udtrykke sig er det, der giver dem kort sigt hukommelse. Du lærer korttidshukommelse fra at lære at kommunikere. Så hvis børnene kan underskrive seks måneder tidligere, end de kan tale, kan det give dem en fordel med hukommelse og sprog generelt. Den oprindelige forskning var 20 år gammel, men de er temmelig sikre på det nu. Så det var først for nylig, at selv det medicinske samfund har sagt: "Åh, du skulle undervise ikke bare døve børn, men alle børnes tegnsprog." Det er en temmelig magtfuld ting.

Vi har et spil kaldet Pop Sign, der giver hørende forældre til døve børn mulighed for at lære tegnsprog eller enhver forælder til at lære tegnsprog ved at spille på dette vanedannende spilwebsted eller deres mobiltelefoner.

Så når jeg vender tilbage til dit originale spørgsmål, ser jeg de andre situationer, hvor mennesker, der kommer ind i ekkokamre, især med sjælden viden. Det er let at få folk til at gå den forkerte vej.

Hvad er du mest opmuntret af og mest håbelig på den optimistiske side?

Jeg kan godt lide de ting, som Elon Musk laver med at prøve at konvertere os til solenergi. Jeg er den slags person, der venter på, at disse tagsten bliver tilgængelig, så jeg kan ombygge mit hus.

I mit eget rum, den bærbare computing, begynder den intelligente assistent. At se folks liv ændret efter tilgængeligheden af ​​denne enhed er ikke kun fordi det forbedrer deres personlige liv eller deres professionelle liv, men bogstaveligt talt redder liv på operationsstuen, bare på grund af de oplysninger, vi kan levere lige i tide til kirurgen.

Så denne idé om, at vi vil have disse intelligente assistenter, der kan hjælpe os på sekund for basis. Endelig kommer vi til det stadie, hvor det her bliver disse ting, der bliver nyttige.

Hvilken gadget, en service eller en enhed, du bruger hver dag, ændrede dit liv? Hvad elsker du mest? Du kan ikke vælge Google Glass.

Kan jeg vælge min tidligere prototype fotosystem ?

Det vil jeg antage.

Det system, jeg havde før Glass, var et Micro Optical SVB6-display og Twiddler-tastaturet og en skulderpakkecomputer. Hardwaren var ikke spilskifteren, det var evnen til at tage notater under samtaler og henvise til disse noter der har ændrede mit liv. Hvis jeg sidder over bordet fra en Nobelpris-vinder ved frokosten, vil jeg være i stand til at huske den samtale. Jeg vil bare vide de fem ord, der vil anspore til min naturlige hukommelse.

Det viser sig, at det at have dette tastatur, så jeg kan skrive under bordet og notere den samtale, der har gjort mig til et meget mere effektivt menneske og også mere socialt yndefuldt. En af de ting, som mine studerende var chokeret over at se, er, at før jeg ser nogen, trækker jeg min Rolodex på dem. Det er sidste gang, vi talte sammen, og hvad vi talte om. Det hjælper mig virkelig genindlæse min hjerne om vores samtaler.

Antag, at jeg besøger en gammel ven. Jeg har notater som "Hej ja hans datter dreng gik på college. Hun studerede geologi; jeg ville bringe hende i kontakt med min kone. Jeg skulle spørge ham, om det skete." Det giver dig virkelig mulighed, ikke kun i din professionelle karriere, men også at være mere social.

Ja, vi talte meget om, at disse enheder gjorde os smartere og fik os til at virke smartere. Denne udvidelse af hukommelse, hvor du pludselig er forbundet med mere af dit liv, fordi du kan huske mere af det, fordi du kan få adgang til mere af det og få disse påmindelser i realtid, det er en interessant applikation.

I de tidlige dage med bærbar computing gjorde vi tre ting. Vi gjorde augmented / alternate reality, intellektuelle kollektiver og augmented memory. Det intellektuelle kollektiv er en slags sociale medier. Forstærket virkelighed er alt det vrede i disse dage. De fleste mennesker er ikke klar over, at det blev kaldt Kunstig Virkelighed, før vi opfandt udtrykket Alternativ Augmented Reality. Faktisk kan jeg fortælle dig, hvorfor vi ændrede navnet.

Hvorfor gjorde du det?

I mine tidlige dage med at studere denne kunstige virkelighed var der et fyrnavn Myron Krueger, som skrev en vidunderlig bog kaldet Kunstig virkelighed 2 . Jeg kan varmt anbefale det til enhver, der ønsker at forstå Augmented Reality. Uanset hvad, tror jeg, det var Timothy Leary, der begyndte at gennemføre presse-interviews, hvor han talte om, at Virtual Reality og Artificial Reality var som LSD-stofture. På det tidspunkt var jeg en studerende, der skrev et tilskudsforslag, og jeg ønskede ikke, at de skulle slå op på udtrykket Kunstig virkelighed og se det tilknyttet LSD.

Så jeg troede, at jeg var nødt til at finde et andet udtryk til brug, der ikke ville trække noget på nettet, der muligvis får mig i problemer, så vi tog denne bevidste beslutning om at kalde det Augmented Reality. Heldigvis for mig disse andre fyre hos Boeing kiggede også på at bruge augmented reality til at samle disse ting til at udføre elektriske ledningsnettet og fremstille fly, og de kom til samme udtryk. Så jeg tror, ​​jeg havde den første skriftlige version af den, og de havde den første publikation på den. Navnet Augmented Reality gik fast.

Fik du bevillingen?

Jeg gjorde. Det er derfor, jeg er her i dag. Tak til NDSEG, National Defense Science and Engineering Graduate Fellowship, jeg tror. Hvis det ikke var for jer, ville jeg ikke være her. Jeg ville ikke være professor. Denne bevilling gjorde det muligt for min professor at påtage mig en ekstra gradstuderende og tillade mig at få bærbare computere til at ske. Så tusind tak.

• Hurtig frem: 'Bemærk til selv' vært Manoush Zomorodi Hurtig frem: 'Bemærk til selv' vært Manoush Zomorodi
• Hurtig fremad: SAPs Steve Singh om automatisering, forretning uden grænser Hurtig fremad: SAPs Steve Singh om automatisering, forretning uden grænser
• Spol frem og tilbage: Sådan bygger du følelsesmaskiner hurtigt frem og tilbage Spørgsmål: Sådan bygger du følelsesmaskiner

Hvis folk vil følge dig og finde ud af, hvad du arbejder med, hvordan kan de gøre det online?

Den nemmeste måde er at gå til Google Scholar og indtaste mit navn, så får du adgang til alle mine papirer og bare klikke på de nyeste. Hvis du vil se noget, der er mere dag for dag, hvis du går til Google+ community på Wearable computing, er det den, jeg kører, jeg prøver at sætte de sejeste ting der sker derude. I det mindste fra min forskning, og vi vil begynde at gennemgå nogle af de ting, der generelt sker.