Teknikken bag nsa's xkeyscore

Hvis du et øjeblik fokuserer på teknologien bag XKeyscore - det påståede regeringsprogram, som NSA har brugt til at modvirke terrorister - snarere end politikken, er det faktisk ganske forvirrende. Nogle rapporter anslår, at XKeyscore-programmet kan håndtere så mange som 41 milliarder poster.

I hjertet af XKeyscore er to store teknologitendenser: Big Data og Data Analytics. Og det er ikke kun regeringen, der ivrig omfavner denne type teknologi. Oplysninger er den hotteste vare, der findes. Her er et kig på hvad der kan være under hætten for så vidt teknologiske specifikationer med et program som XKeyscore, baseret på hvilke virksomheder, der indsamler og analyserer de samme store datasæt, og kommentarer fra leverandører, der hjælper disse virksomheder med at flytte disse data.

Forbløffende teknologi

Big Data henviser til indsamling af datasæt, der er så store, at dedikeret teknologi er nødvendig for at sile igennem, analysere og rapportere mod disse oplysninger. Data Analytics er i en nøddeskal processen med at opdele disse oplysninger i pæne rum, så de kan undersøges nærmere.

Hvor bruges denne enorme dataindsamling og analyse stort set? I privat industri. Melissa Kolodziej, direktør for markedskommunikation hos Attunity, et løsningsfirma, der hjælper virksomheder med at få adgang til og flytte store mængder data, sagde, at virksomheder i detailbranchen vil tage og "sammensætte store mængder data" for at analysere en kundes vaner for detaljer så specifikke som at se "hvis denne person netop har købt shampoo, så de derefter kan tilbyde kunden en relateret kupon på deres mobiltelefon, mens de stadig er i butikken." Kolodziej sagde, at virksomheder ønsker og kan have "næsten realtidsfunktioner", når det kommer til at analysere disse store datasæt og ønske om at rulle information så hurtigt som muligt.

Overblik over tekniske specifikationer

Der er ingen rigtige detaljer til rådighed om den specifikke teknologi, der kan bruges med XKeyscore, bortset fra det faktum, at det involverer 700 Linux-servere, der er placeret globalt. Men det er muligt at antage, hvilken type hardware der er nødvendig for at samle og styre disse store datasæt. Der er kun få leverandører, der fremstiller de typer maskiner, der kan håndtere en så forbløffende behandlingskraft: Oracle, HP, IBM og EMC er dem, der mest kommer til at tænke på.

Naturligvis er det ikke kun mærket datacentersjern, der gør det muligt at indsamle og analysere store mængder data.

"Teknologiske nyskabelser inden for hardware (hukommelseskapacitet & hastighed, multicore, multiCPU'er) og software (kolonnedatabaser, grupperede filsystemer og så videre) har gjort det muligt at 'gemme' næsten ubegrænsede mængder data, " ifølge Byron Banks, vice præsident for database & teknologi hos SAP.

Parallel behandling, fremskridt inden for rå computerkraft samt enorm lagerkapacitet til relativt lave omkostninger, har alle gjort denne type dataindvinding lettere for regeringer, virksomheder og endda mellemstore virksomheder. Lawrence Schwartz, vicepræsident for marketing, Attunity, sagde, at datalagrene i dag, "generelt er bygget til at understøtte terabyte af data."

Det faktum, at der er så mange datakilder, alt sammen så sammenflettet, har også bidraget til at analysere og indsamle store datasæt, så lokkende for industrien. "Jeg tror, ​​folk altid har ønsket at finde ud af, hvad de skal med data. I det sidste årti er der så mange informationskilder, der er så meget mere nu, der er sammenkoblet. Vi havde ikke år siden… så meget computerkraft, at der nu er muligheder, ”sagde Schwartz.

Langvarige udfordringer og åbenlyst kontrovers

Mens teknologien fortsætter hurtig fremskridt med ild til at støtte Big Data og analysen af ​​sådanne data, forbliver der stadig udfordringer.

Ofte indsamler enheder flere data, end de kan håndtere, ifølge Schwartz. Der er også "en enorm mangel på dataforskere" til rådighed for at give mening om disse indsamlede data.

"Udfordringen med mange eksisterende løsninger og teknikker er, at de ikke er i stand til at forstå og identificere, hvilken nyttig information der findes i disse massive puljer af 0'ere og 1'er, og derefter analysere og gøre brug af den på en rettidig og omkostningseffektiv måde. Hos SAP, vi er fokuseret på innovationer, der tager kompleksitet ud af IT-landskabet og forbedrer hastigheden og fleksibiliteten, hvormed 'data' kan omdannes til nyttig 'information' og leveres til slutbrugeren eller applikationen, "sagde SAPs Banks.

Så er der sikkerhedsproblemerne. "På grund af den overflod af dataselskaber og forbrugere, der fortsætter med at skubbe og opbevare i skyerne, bør offentligheden være bekymret over informationssikkerhedspraksis for de virksomheder, hvis skyer holder vores personlige oplysninger, " sagde Paige Leidig, senior vicepræsident ved CipherCloud. Mens PRISM sidder og overvåger oplysninger, der flyder over bestemte skyer, følger XKeyscore aktivt en given person på internettet fra websteder, der er besøgt til e-mails, der udveksles til sociale medieindlæg. I begge tilfælde overvåger og samler nogen personligt identificerbare data uden datalejers samtykke - og det er privatlivsproblemet, selv om motivationen er national sikkerhed for befolkningens velfærd."

Ifølge Leidig fremhæver disse internetovervågningsprogrammer, hvis noget, "vores afhængighed af sky på virksomheds- og forbrugerniveau." For så vidt angår sikkerhed for data eller forhindring af tyveri af data fra hackere eller inden for it-folk, anbefaler Leidig, at "en bedre fremgangsmåde er den at aktivere skyen (og de dræberapps, som virksomheden har brug for og forbrugerne elsker) ved at bruge uknuselig kryptering til at kryptere data til gibberish. På denne måde kan uautoriserede brugere - hvad enten et efterretningsbureau eller en cybertyv - ikke gøre brug af dataene. Som et ekstra mål for kontrol skal virksomheder - ikke skyudbydere - holde krypterings- / dekrypteringsnøglerne.

I tilfælde af en informationsanmodning (de NSA-breve, vi har hørt så meget om), får virksomheden besked og kan arbejde direkte med regeringen i stedet for at blive forbigået og i mørke, at der fås adgang til kundedata uden samtykke. Det er den model, hvor skyudbyderen holder nøglerne, overleverer dataene og forhindres ved lov i at afsløre anmodningen om information til virksomheden."

Det er klart, at den store diskussion nu i offentligheden bare er, fordi teknologien er der for at samle og analysere enorme data, giver dette licens til regeringen og virksomhederne til at bruge sådan teknologi på borgere og kunder? Det er en debat, der helt sikkert vil fortsætte i ganske lang tid.

For mere kan du tjekke at Xkeyscore ikke ser dig, det er NSA's Google for aflyttede data.