De beste tingene i livet skal ikke

De største buzzwords innen tech vil mislykkes fordi de bare ikke skalerer.

Når vi raskt innoverer med ny teknologi, må vi huske på om innovasjonene våre er praktiske og gjennomførbare. I en verden der vi teller brukere i tusenvis og løpetid på millisekunder, er det viktigere enn noen gang å sikre nye teknologiske skalaer.

Det er derfor det er sjokkerende at de tre største buzzwords innen tech fullstendig ikke klarer å skalere.

Selvfølgelig snakker jeg om de tre kategoriene som tilsynelatende hver bit av teknisk nyheter faller inn i dag:

  1. Kunstig intelligens
  2. Blockchain
  3. Mixed Reality (XR, AR / VR)

Det ser ut til at nesten alt enten bruker eller legger til disse, og likevel er det sinnsykt hvor smertefullt (og helt umulig) det er å skalere disse tjenestene.

Vi trenger mer maskinvare

Den første og fremst mangelen gjenstår maskinvare. Det er ingen hemmelighet at maskinvarekravene for tech øker eksponentielt år for år, både i pris og spesifikasjon. Dette blir effektivt en blokkerende faktor i utbredt adopsjon, og i tilfelle av blockchain er det en morder.

Blockchain er vanligvis avhengig av "gruvearbeidere" som "mine" blokkerer og lar nettverket utføre de mest grunnleggende oppgavene (dvs. bekrefte transaksjoner). Prosessen med "gruvedrift" er noe jeg ikke vil gå nærmere inn på, men det innebærer å utføre store kryptografiske funksjoner, en prosess kjent som "hashing."

Problemet med hashing er at det krever en betydelig mengde datakraft; faktisk et så stort beløp som effektivt utvinnes på blockchain krever spesiell maskinvare, enten en GPU eller en ASIC. For å være den minste gruvearbeideren, trenger du en GPU med høy spesifikasjon (la oss være ekte, Intel HD Graphics er forbrukerstandard akkurat nå, så i utgangspunktet er hver GPU over det som er høyspesifisert) eller et dedikert ASIC. Dette rekker en ganske stor regning, med de fleste enheter som prissetter i hundrevis til tusenvis av dollar per enhet, og teller ikke den høye strømbruken som anses som en driftskostnad.

den store GPU-mangelen i 2018

Dette har vist seg å være en betydelig, blokkerende faktor i blockchains adopsjon. Faktisk, på grunn av nettopp denne grunnen, steg GPU-prisene, og aksjen ble helt borte, og etterlot potensielle gruvearbeidere uten verktøy, krasjet PC-bransjen og hindret forskere i å få tilgang til avansert maskinvare. Selv GPU-produsenter som Nvidia som tjente på økningen, har til slutt uttalt seg om den alvorlige mangelen som en direkte årsak til blockchain.

Et år senere har de fleste av disse blockchain-teknologiene forsvunnet, og prisene på store cryptocurrencies har krasjet til en fjerdedel av verdsettelsen. Den mest uttalte bekymring for blockchain er at den ikke skalerer, og maskinvare forblir (og vil fortsette å være) en blokkerende faktor i skaleringen av blockchain-teknologi.

Dette problemet er imidlertid ikke begrenset til blockchain. Artificial Intelligence er avhengig av den samme maskinvaren (GPU-er), og dette blir også en blokkerende faktor på dette feltet; de fleste kommende oppstart har ikke råd til å bygge en enorm GPU-gård som Googles, og å kjøpe datakraft fra skyleverandører som AWS kommer til en prisstigning på 4x som gir en enorm serverregning.

Med XR blir problemet enda mer irritert. For å få disse opplevelsene, må forbrukerne gjengi det visuelle, og forbrukerens enhet må behandle sensoriske innspill. Dette legger byrden mest på forbrukeren, noe som høres bra ut for bedrifter som ønsker å komme inn i XR-rommet, men forårsaker et stort problem med skalering.

La oss for eksempel ta Oculus VR. Oculus var et av de første VR-headsetene som ble lansert og er fortsatt et populært navn på feltet, etter å ha blitt anskaffet av Facebook og størknet sin plass i markedet.

Den latterlig høye

Dessverre opererer Oculus nesten utelukkende på stasjonære PC-er, og krever dessuten høye GPU-spesifikasjoner. Den står overfor de samme fallgruvene som blockchain og AI, men med mye større bekymringer: mens med AI en virksomhet bare kan kaste penger på infrastrukturen deres for å løse problemet midlertidig, med XR, faller byrden på forbrukerne. Adopsjonssyklusen til AR / VR er avhengig av at forbrukerens GPUer blir mer utbredt og høyere spesifikasjon, i tillegg til at de venter på at prisene skal falle til nivåer som er overkommelige for den gjennomsnittlige brukeren. Det er en prosess som potensielt kan ta flere tiår - mens Nvidia-administrerende direktør Jensen Huang proklamerer at Moores lov favoriserer GPU-er, den tiden som kreves for tilstrekkelig utvikling som trengs for å heve spesifikasjonene mens prisnedgang fortsatt utgjør flere år.

For de tre største buzzwords innen tech er det en forbannelse.

Runtime

Når vi snakker om utførelsestid i databehandling, mener vi vanligvis i millisekunder, ettersom brukerne har vokst til å forvente umiddelbare interaksjoner.

Dessverre er dette ikke tilfelle i det hele tatt med alle de ovennevnte teknologiene.

Med blockchain tar gruvedrift av en enkelt blokk lenger og lengre tid. Det er kommet til det punktet hvor det ikke lenger er lønnsomt for enkeltpersoner å gruve store cryptocurrencies, og gruvebassenger har begynt å ringe skuddene i nettverket. For en "desentralisert" teknologi favoriserer det en veldig mye sentralisering.

Det steller også undergang for blockchains (uten tvil) største brukssak: cryptocurrency. Cryptocurrency trives med raske transaksjoner, uten sentraliserte myndigheter, over landegrensene og uten store gebyrer.

Men med at blockchain ikke ble skalert og tiden (tid = strøm) som kreves for å gruve en blokk, steg gebyrene knyttet til transaksjoner til rekordhøye; på topp, nådde Bitcoin et punkt der avgiftene forbundet med de fleste små transaksjoner var større enn de faktiske transaksjonskostnadene, noe som gjorde det helt ubrukelig og en total fiasko for hverdagens forbrukere. Transaksjoner begynte å ta timer, og regulering på grunn av den løpende, den stigende prisen på Bitcoin gjorde det vanskelig å flytte Bitcoin over landegrensene.

Cryptocurrency ble alt det lovet å ødelegge.

Med kunstig intelligens oppstår det en helt annen sak. Inferansetiden for mange modeller i stor skala tar flere sekunder, noe som høres ut som en liten tid, men begynner å rakke opp og blir et blokkerende tall når vi diskuterer brukerbaser som utgjør tusenvis.

Dessuten er tallene som er oppgitt for slutningstid fra de fleste modeller vanskelige - du må lese mellom linjene, eller rettere sagt til neste linje som vanligvis leser "som du finner på vår XYZ GPU-stabel," der "XYZ GPU-stabel" koster flere tusenvis av dollar og må være dedikert til den eneste inferensoppgaven.

Googles TPU-stabel som ofte brukes til å trene modellene sine

Naturligvis forskes det her, men forskningen som gjennomføres fokuserer nesten fullstendig på treningstid, noe jeg vil hevde ikke er veldig viktig. For trening er ikke en uke en stor sak - enhver oppstart kan spare en uke på å trene en modell som vil bli hjørnesteinen i deres virksomhet.

Det større problemet ligger i slutningen. På rotnivå krever trening inferanse - inferansen blir vanligvis sitert som den "frem" fasen av et nettverk, og dette må skje i trening før bakteppet gjennomføres. I trening er imidlertid all data som må utledes tilgjengelig fra begynnelsen.

Med andre ord kan hele partiet behandles samtidig (dvs. 100 bilder med bilder samtidig), på grunn av matematisk skalering - å multiplisere en større matrise med flere matriser er mer effektivt enn å multiplisere flere matriser med 1 matrise (med andre ord , er det mer effektivt å gjøre mer på en gang). Dette går opp til et visst punkt, lik ideen om å redusere avkastningen i økonomien, men det gjenstår at batch-opplæring gjør at vi kan skalere slutningen på store datamengder.

Dessverre, i praktisk forstand, er batchbehandling sjelden tilfelle.

Det er sjelden at en modell må kjøre inferens på 200 bilder samtidig; det er mer sannsynlig at 200 bilder sendes inn for slutning om, for eksempel, et minutt. Det vil være en hard flaskehals i innledningstiden per bilde; til og med en slutningstid for å si, en tredjedel av et sekund (som er sinnssykt rask - det er tidene som kan skrytes av de raskeste modellene, for eksempel Gmail sin superoptimaliserte setningsprediksjonsmodell) vil resultere i at bare 180 av bildene blir behandlet pr. minutt. Selv med en liten belastning på 200 / min, klarer ikke modellen å skalere, og for å vurdere den voksende etterslepet må en andre instans gyte for å balansere.

Det er en vanskelig pille å svelge i en verden der store belastninger er gitt. faktisk har Node's Express kommet under ild før for bare å ha støttet et par tusen forbindelser / sekund, på lik linje med populære NoSQL-databaser som ble kritisert for å ha en flaskehals på flere tusen transaksjoner / sekund.

en demning som garantert vil sprekke

Det er en figur uhørt i AIs verden, som får en hard flaskehals med et par hundre per sekund når det gjelder separate konklusjoner på en enkelt instans av en modell, selv med de mest avanserte optimaliseringene du kan gjøre.

Med XR er det et veldig, veldig annet problem. Spørsmålet ligger i nedsenking - for fordypning og unngå den uhyggelige dalen må interaksjoner finne sted, og gjengivelsen må tilpasse seg raskere enn mennesker kan oppfatte. Et par hundre millisekunder er med andre ord ikke raskt nok.

Med XR måler vi ting i små mengder millisekunder. Vi måler akseptabel latens som under ~ 20ms (et tall som mange spillere vil være uenige i, da 100+ fps og under ti ping anses som normalt for de fleste rigger).

Det er en figur som forblir en flaskehals og er en vi ikke er i nærheten av; mens XR tech fokuserer intenst på dette og det har blitt oppnådd mange gjennombrudd på dette feltet når det gjelder regelmessig sensorisk input og gjengivelse, står vi fremdeles overfor spørsmål når det gjelder samhandling; nettopp XR åpner for et helt nytt, uendelig utvalg av muligheter for samhandling som bare ikke kan behandles så raskt av de fleste motorer.

ARCores Augmented Image-motor som vist på Google I / O 2018

For å kjøre bildeforstørrelse med noe mer komplisert enn homografi er dessuten latenstiden for høy til å anses som "akseptabel" av de fleste erfaringer. Det raskeste vi har testet så langt er Googles ARCore Augmented Images, som bruker homografier (det er også en Augmented Faces-demo som er litt tregere og har en viss påfallende forsinkelse / etterslep).

ARCore Augmented Faces-demo

Det er et stort problem

Bare i løpet av de to siste årene er antallet fremskritt på disse tre feltene uoverkommelige.

I AI så vi naturlige språkgenerasjoner hoppe frem med GPT-2, som tjener sitt rykte som Imageet av NLP. Det åpner en ny verden av muligheter med tekstbehandling. Vi har også sett innviklede nettverk og GAN-er vokse til å ta i bruk 4k-bilder, og vi går inn i en tid der AI kan etterligne HD-bilder og generere innhold som virker troverdig for det menneskelige øyet.

Med blockchain har feltet blitt mindre gjørmete, med flere kontantfangster som dør ut og gir mer rom for eksponering med eksisterende plattformer. Steam har vokst betydelig det siste året, sammen med Stellar og bruk av blockchain i vanlig tech. JPMorgan, BofA og Facebook har alle kunngjort sin blockchain og brukt blockchain ser en økning med plattformer som DLive som har begynt å gå mainstream (DLive har nylig dannet et partnerskap med Youtube største personlighet med sin skaper-første plattform).

I XR har vi sett telefonnivå XR og AR bli en realitet med mange forbedringer til ARCore. Det blir mulig å integrere AI i XR og utvikle opplevelser som gir mulighet for et visst nivå av menneskelig interaksjon (vi har ikke fysisk berøring ennå, men det er prosjekter som gjør det mulig for annen interaksjon, for eksempel Fiddler AR).

Dette er alle felt som har stor, betydelig innvirkning på teknologiens fremtid, og der menneskelig sivilisasjon går som en helhet. Dette er teknologier som ikke påvirker økonomien; de omdefinerer det; de påvirker ikke samfunnet og samhandlingen; de revitaliserer det. Det gjør en overhaling mulig av hele kulturen vår, og på rotnivå kalles den en ny industriell revolusjon.

For en bevegelse som har så stor betydning for den utbredte offentligheten, er det viktig og overordnet at den kan skalere for å støtte publikum med letthet. Inntil dette blir implementert, hindrer det adopsjon og danner en hard-stop hindring for inntreden når det gjelder innovasjon utenfor store selskaper.

Jeg håper å se mer innovasjon når det gjelder skalering av disse teknologiene. På Epic.ai har vi fokus på å utvikle applikasjoner som er veldig avhengige av AI og blockchain - vi er altfor kjent med skaleringsbegrensningene; det er et problem vi vil jobbe tungt med i løpet av de neste årene, og et problem vi håper industrien kommer sammen for å løse.

Hei! Jeg er Tomer, en gründer og produsent. Du kjenner meg kanskje fra Mevee, Crane og Shots, Slides og nå investorintelligence.io blant andre produkter jeg har lansert! Denne artikkelen er en del av en mer omfattende serie jeg skriver mest basert på mine erfaringer og er hovedsakelig laget av meg og teamets meninger.

Jeg håper dette hjelper deg å unngå å gjøre de samme feilene som jeg gjorde, og husk å fortsette frakt!

Klapp hvis du fant dette verdifullt, og følg meg for mer skriving som dette, da jeg deler historier om hvordan programvareutvikling og entreprenørskap ser ut i det virkelige liv.

Denne historien er publisert i The Startup, Middels største entreprenørskapspublikasjon fulgt av +442 678 personer.

Abonner for å motta topphistoriene våre her.