Kognitive og konversationsværktøjer er i centrum ved microsoft build

Det, der overraskede mig mest på Microsoft Build-konferencen i denne uge, var vægten på kognitive og samtaletjenester, da Microsoft rullede sin vision for, hvordan sådanne tjenester vil transformere applikationer i fremtiden, og prøvede at overbevise udviklere til at komme om bord med denne vision. Meget af det vil ikke være synligt for slutbrugerne før senere - de største funktioner for slutbrugere i øjeblikket vil være forbedringer af Cortana personlige assistent og nye blækfunktioner i "Jubilæumsudgaven" af Windows 10, der skal ud i sommer. Men skubningen for at sikre, at Microsoft følger med sine rivaler inden for maskinlæring, intelligente agenter og messaging-apps er mere rettet mod udviklere i øjeblikket, da virksomheden allerede har basale applikationer, men har brug for et økosystem for at gøre dem mere imponerende.

Det største nye tema, der blev introduceret af administrerende direktør Satya Nadella, var "samtaler som en platform", som ser ud til at inddrage samtaleplatforme - fra Cortana til Skype til tredjepartsapplikationer - og tilføje intelligens til dem. Tanken er at tilføje forståelse, præferencer og især kontekst til sådanne applikationer.

Han sagde, at der er tre hovedaktører i sådanne samtaler: mennesker, digitale assistenter og bots. Fra person til side talte han om applikationer som Skype Translate, som forsøger at muliggøre bedre samtaler på flere sprog. En digital assistent, sagde han, vil vide om dig på tværs af flere enheder og kan hjælpe med hverdagens opgaver, såsom planlægning af aftaler. Bots er nye applikationer, som du kan tale med på naturligt sprog, og han talte om en vision, hvor du kan kalde bots i en samtale.

Alt dette fører mod en ny platform, sagde han, hvor menneskeligt sprog bliver brugergrænsefladen, bots bliver de nye applikationer, og digitale assistenter er som "meta-apps", såsom browseren, der til dels findes for at kalde andre applikationer, med alle disse applikationer inklusive intelligens. Han sagde, at dette ville blive lige så stort af en platformændring som GUI, Web eller touch på mobil.

Nadella talte om, hvordan visionen var "ikke menneske versus maskine, men snarere mand med maskiner, " med mennesker, der leverede empati, følelser og vurderinger, og maskiner, der leverer computerkraft. Men han sagde, at det var vigtigt at have en "principiel tilgang" til maskinlæring og bruge den til at øge menneskelige evner og oplevelser, være pålidelig (med hensyn til privatlivets fred, sikkerhed og overholdelse), inkluderende og respektfuld.

På det sidste punkt sagde han, at det var vigtigt, at sådanne applikationer repræsenterer "det bedste for menneskeheden, ikke det værste, " og pegede på Tay, Microsofts mislykkede eksperiment med at introducere en chatbot i sidste uge, som skulle fjernes en dag senere da det begyndte at gentage stødende bemærkninger. Nadella indrømmede, at virksomheden begik det forkert, idet han sagde "vi indså hurtigt, at det ikke var op til mærket, " men sagde, at virksomheden ville fortsætte med at inkubere sådanne teknologier, og bemærkede, at dens bots i Kina og Japan ikke havde haft de samme problemer.

Blandt de nye detaljer er Cortana, der kommer til Outlook, så det bedre kan forstå din mail, kontakter og kalender og gøre ting som omplanlægge aftaler - en god, hvis ikke helt ny idé - og være i stand til at foreslå ting, du måske vil gøre næste baseret på din kalender, mail eller de samtaler, du har haft. Og en ny version af Skype, der nu er tilgængelig, tilføjer support til Cortana og kan understøtte bots inden for dets videochats, for at gøre ting som at transkribe korte videoopkald og være tilgængelige for alle slags tjenester. Microsoft kaldte dette ved hjælp af Skype som et "samtale lærred." Også dette ser ikke ud til at være en ny idé - ting som WeChat og Facebook Messenger har haft bots i lang tid - men det viser, hvordan Microsoft prøver at omdanne dette til en platform. Det viser også, hvordan dette kan fungere på tværs af platforme, med demonstrationen, der starter på en Windows-pc og afsluttes i Skype på en Android-telefon.

Men de fleste af de virkelige nyheder ser ud til at være i nye tilbud til udviklere, med det, der nu er kendt som Cortana Intelligence Suite (tidligere Cortana Analytics Suite, et godt eksempel på hvilke vilkår der er varme i et givet år).

Dette er effektivt en runtime bygget på Azure-platformen, der inkluderer en botramme, kognitive tjenester og maskinlæring.

Botrammen gør det lettere at oprette en bot eller at forbinde en til andre tjenester. Udviklere kan oprette disse i node.js eller C #, og en demo involverede at oprette en bot, der bestiller pizzaer fra Domino's. Det, som jeg fandt mest interessant her, er, at det er ment at være en åben ramme med bots, der ikke kun fungerer inden for Cortana og Skype, men også Slack, Telegram, simpel SMS og andre tjenester. Naturligvis var nogle af de mest interessante alternative tjenester ikke på listen - inklusive Apples Siri, Amazons Alexa eller Facebooks Messenger eller WhatsApp.

En anden demo viste, hvordan nogle kommende værktøjer vil gøre det lettere for udviklere at tilføje eller ændre regler for bots og deres forståelse af det naturlige sprog. Det kan antyde, at andre ord folk kan bruge, der har lignende betydninger, bruger maskinlæringsbaseret naturligt sprogforståelse for at forbedre ordforrådet over tid eller overdrage anmodninger til en menneskelig assistent, hvis boten ikke forstår, hvad de skal gøre.

Endelig introducerede virksomheden et meget større sæt kognitive tjenester og flyttede op til 22 forskellige tjenester fra 5 sidste år. Disse tjenester dækker en lang række scenarier, herunder genkendelse af genstand, tale, viden og søgning. Et eksempel involverede en billedtekstbot, der tilføjer billedtekster til billeder ved hjælp af en kombination af genkendelse af objekt plus naturligt sprog. Et andet værktøj kaldet CRIS (Custom Recognition Intelligence Service) så ud til at gøre et langt bedre stykke arbejde med at konvertere tale til tekst end konventionelle metoder. Endelig demonstrerede de ved hjælp af værktøjerne til at udføre analyser på Twitter-feeds, prøveudtagning af profilbilleder for at bestemme plakatens alder og køn.

Naturligvis annoncerede Microsoft en række andre værktøjer, der også er rettet mod udviklere, hvilket gjorde et særligt skub til, at Windows skulle være den platform, de bruger til at udvikle applikationer uanset platform. Det mest overraskende af disse nye værktøjer - i det mindste indtil rygterne i sidste uge - er tilføjelsen af ​​BASH-shell fra Linux, men andre værktøjer inkluderer en desktop app-konverter til at flytte traditionelle Win32 desktop applikationer til nye Universal apps; et stort skub for Xamarin krydsudviklingsværktøjer, der antyder, at udviklere kan skabe kernen i en tværplatform-applikation og de specifikke ændringer for hvert miljø, inklusive Android og iOS såvel som Windows, alt sammen på en Windows-platform.

Derudover viste Microsoft "dev mode", et værktøj til at omdanne en Xbox One til en udviklerplatforms maskine, der sendes i dag; og sagde, at den første version af HoloLens også var tilgængelig for udviklere fra i dag.

Nadella begyndte morgenen med at tale om, hvordan vi nu ser mere diskussion om teknologiens rolle i vores samfund, fordi teknologi er blevet mainstream og indlejret i vores daglige liv, virksomheder og økonomier. Han sagde, at der var spørgsmål om, hvorvidt teknologi driver økonomisk vækst for alle, eller om økonomisk vækst er stoppet på trods af teknologiudgifter; hvis er det muligt for job eller fortrænge dem? og hvis det muliggør eller kommer i vejen for varige værdier, f.eks. privatliv.

”Jeg er optimist, ” sagde han og tro på, at teknologi kan drive økonomisk vækst overalt i verden, kan styrke os i vores daglige liv og kan understøtte vores vedvarende værdi. For at gøre dette, sagde han, må vi sikre os, at vi bruger teknologi på måder, der muliggør dette, og bringer det tilbage til Microsofts nuværende missionsklæring for at "styrke enhver person og enhver organisation på planeten til at opnå mere." Dette, sagde han, skal starte med udviklere.

Han afsluttede hovedmærket med en video, der viste, hvordan Saqib Shaikh, en blind udvikler hos Microsoft, har været i stand til at bruge kognitive teknikker med Pivothead smart briller for at få information om verden omkring ham. Eksempler inkluderer at høre folk lege i en park og at stryge hans briller for at høre, at det var en ung pige, der kastede en frisbee. Dette er bare et forskningsprojekt nu, men det var ret inspirerende, og Nadella bragte udvikleren ind på scenen.

For mig så jeg hovedpunkterne som et skridt hen imod etablering af nye platforme baseret på maskinlæring og på bots, samt en anerkendelse af, at så vellykket som Windows har været, er Microsoft langt fra dominerende i skyen og dybest set har tabt slaget at blive en vigtig mobiltelefonplatform. (Faktisk blev kun en demo af hele keynote udført på Windows Phone, og det var en Skype-demo, der kunne have været gjort på Android lige så let.) Ikke overraskende ser Microsoft derefter frem til den næste platform - hvor, selvfølgelig vil den stå over for både traditionelle og nye konkurrenter.