Hvordan naturligt sprogteknologi, hologrammer bevarer vidnesbyrd om holocaust

I 1990'erne gennemførte USC Shoah Foundation videointerviews med tusinder af Holocaust-overlevende, så deres historier aldrig glemmes. Nonprofit's digitale bibliotek huser i øjeblikket 53.000 videoudtalelser, og i de senere år er det udvidet til at fange vidnesbyrd fra dem, der var vidne til folkemordet i Rwandan Tutsi i 1994, Nanjing-massakren i 1937 og det armenske folkemord, der faldt sammen med første verdenskrig.

Men i en æra, der ser fremkomsten af ​​virtuel og forstærket virkelighed, for ikke at nævne robotter og virtuelle assistenter, har organisationen undersøgt mere moderne måder at fange vidnesbyrd om: interaktive, hologramlignende repræsentationer af overlevende, der kan interagere med og besvare spørgsmål fra fremtidige generationer.

Fonden samarbejder med USC Institute of Creative Technologies (ICT) og Conscience Display om projektet, kendt som nye dimensioner i vidnesbyrd. Det har været i værkerne siden 2012, og vil til sidst være tilgængeligt på museer og læringsinstitutioner over hele verden. PCMag rejste for nylig til Playa Vista, Californien for at se Auschwitz-overlevende Eva Kor aflægge hendes vidnesbyrd på en lydscene.

Projektleder Dr. Stephen D. Smith, administrerende direktør for USC Shoah Foundation, sagde, at han "ville have chancen for at tale med de mennesker, der selv havde oplevet folkemord, for at høre direkte fra vidner snarere end at se dem afsendt til at blive statistik over historien."

I fem dage interviewede Smiths team Kor, som var otte år, da WWII startede. "Gennem registrering af hendes svar kan vi skabe en levende ressource for kommende generationer, " sagde han.

Heather Maio, administrerende direktør for Conscience Display, havde eksperimenteret med forskellige teknologier til museer og uddannelsesmiljøer for at dele historien, før hun lærte om arbejdet på IKT.

"Jeg havde lavet en test med 3D - ved hjælp af en to kameraopsætning - men jeg var virkelig på udkig efter en teknologi, der var længst med inden for holografisk type teknologi. Jeg fandt IKT i 2010 og bragte hele projektet til USC Shoah Foundation."

Maio ville gå ud over det traditionelle narrative vidnesbyrd og besluttede at undersøge behandling af naturligt sprog, så museumsbesøgere kunne have en egentlig dialog med indspillede vidner.

Meget af talegenkendelse er stadig under udvikling. "Vi har tilsluttet Googles ASR (automatisk talegenkendelse), som er den bedste sprogsoftware derude, især fordi det har det største naturlige samtaleordforråd og -frasering og har forståelse for kontekst, " sagde Maio. "Men vores vidner bruger ord, specifikt polske og jiddiske ord, der er mindre brugt i dag, fra 2. verdenskrigs æra. Jeg har dog bemærket, at det lærer virkelig hurtigt og samler nye ord og forstår mere hver dag."

Det var tid til at gå ind i det digitale capture-studio. En besætning satte op en enorm rig med et grønskærmbilledet, der var dræbt over to tredjedele af rummet, så den interviewede senere kunne placeres i ethvert miljø eller baggrund.

Holdet filmer i 360 grader via en rig med 112 kameraer, en kombination af Ximea MQ042MG-CM'er, Red Epic M Dragons og Panasonic HC-X900s. "Det er et komplekst projekt, så IKT har udviklet tilpassede systemer, der kører på toppen af ​​Vegas Pro, af Sony, til redigeringsprocessen, der indeholder software oprettet af Natural Language-teamet på ICT, " sagde Maio.

Med alle på plads indtog Eva Kor sin plads i midten af ​​kameraopsætningen. Eva blev valgt, fordi hun grundlagde organisationen CANDLES (Children of Auschwitz Nazi Deadly Lab Experimental Survivors) i 1984 og åbnede CANDLES-museet i 1995. Nu 83 år gammel, og stadig skarp som en tack, lyttede hun nøje til instruktionerne om hold hendes overkropp i samme position, så hendes digitale render vil have kontinuitet senere. Så var det ligesom et rigtigt filmsæt.

"Stille ved sæt."

"Lyd!"

"Rul panasonics."

"Kontrol af alle panasonics!"

"Rul rød."

"Skifer, tak."

Klappbordet smækkede ned for at give redigeringsholdet deres notationer, alle kiggede ned på manuskriptet for dagen, og Smith læste sig ind i mikrofonen uden for kamerariggen.

"Hvad fortalte dine forældre dig om Hitler og besættelsen?" spurgte han.

Kor tog en dyb indånding og detaljerede, hvordan ungarske soldater kom til hendes families lille gård i en landsby i Transylvania, Rumænien.

Når der er fastlagt en vidnekonto, anvendes lydudløsere, så fremtidige målgrupper kan stille spørgsmål på mange forskellige måder og få et cogent svar fra Kor. Dette betød, at Kor måtte svare på det samme spørgsmål på forskellige måder, bare for at sikre, at softwaren kategoriserede hendes svar korrekt og anvendte nøgleord med semantisk forståelse.

De spørgsmål, der fremkaldte mest følelser fra dem, der så, var den slags børn ville stille. Faktisk havde de det. De 2.000+ spørgsmål blev skabt fra forskningsforsøg, og mange handlede om livets hverdagslige detaljer i disse dage. Kor mindede om barndomshukommelser, der voksede op, før hendes familie blev bragt til Auschwitz. Hun beskrev sin mors madlavning, problemer med mobning i skolen og hendes tvillingsøster Miriams yndlingskæledyr.

Det er fordi Eva og Miriam er tvillinger, og så en del af de forfærdelige eksperimenter, der blev udført i lejren, at de begge overlevede. Resten af ​​familien blev dræbt ved ankomsten.

Efter en times optagelse havde Kor brug for hvile. Så under en pause i sagen førte Smith os ind i et sideværelset for at vise os et fuldstændigt vidnesbyrd. ICT's output tillader, at de interviewede projiceres i 2D HD, 3D, i VR eller via en hvilken som helst skærmmonitor eller enhed.

På en bærbar computer trak Smith et browservindue op, og der var Pinchas Gutter, en anden Holocaust-overlevende, med hænderne hvilende forsigtigt på benene, øjnene opmærksomme og ventede på os, syntes det.

Smith satte fingeren på en bærbar nøgle for at få Gutter til at reagere. Gutter's ansigt lyser op. Smith stillede et spørgsmål, frigav sin finger, og Gutter svarede, ligesom han sad der på en telekonference i en anden by.

Vi stillede alle et spørgsmål - flere af os med vores forskellige nationaliteter og dermed accenter. Han fik hver og gav cogente svar. Det var overbevisende. Troens suspension var fuldstændig.

Eva Kor var klar til sine næste 100 spørgsmål tilbage i studiet. Alle kom ind igen. Men det, der er forbløffende ved dette projekt, er, at Kor besvarer folks spørgsmål om, hvad der skete med hende længe efter at hun har forladt os i det fysiske område.