Sterling Crispin jobbet med Apples AR-hodesett i tre og et halvt år. I 2021 sluttet han hos Apple.
Spennende avsløringer
Crispins innlegg på Twitter høres ut som hemmelig informasjon vi egentlig ikke har lov til å høre noe om, men faktum er at dette også er beskrevet i patenter som ligger åpent tilgjengelig. Crispin forklarer ikke nøyaktig hvordan de fikk til dette, for det er jo et stort team og milliarder av dollar i omløp i ti år, men avslører at hodesett nærmest har sci-fi-teknologi ombord.
Triks for å gjette kognitiv tilstand involverte også raskt å blinke bilder eller lyder til en bruker på måter de kanskje ikke oppfatter, og deretter måle reaksjonen.
Annonse
Et potensielt “game changer”-produkt
Men det konkret spennende her er at ingeniøren hadde tittelen “Neurotechnology Prototyping Researcher.” Utvikleren hjalp til slik at Vision Pro “faktisk kan lese tankene dine.” Han forklarer videre:
“Noe av det kuleste er å kunne forutsi at en bruker klikker på noe før de utfører det, noe som tok enormt med arbeid. Det er nemlig slik at pupillen reagerer før man klikker, delvis fordi du forventer at noe vil skje etter at du klikker. Derfor kan man lage en “biofeedback” brukerens hjerne ved å overvåke øyeatferd, og redesigne brukergrensesnittet i sanntid for å skape mer av pupillresponsen. Det er et enkelt hjernedatamaskingrensesnitt via øynene, men det er veldig kult.”
Kan hodesettet endre sinnstilstanden?
Crispin er selvsagt bundet av kontrakter som bestemmer hva han kan si, men han har en siste avsløring som går på patentet om maskinlæring og “signaler fra kroppen og hjernen for å forutsi hvor fokusert, eller avslappet du er, eller hvor fort du lærer for deretter å gjenspeile de virtuelle miljøene for å forbedre hvordan man føler seg. Forestill deg et adaptivt oppslukende miljø som hjelper deg å lære, jobbe eller slappe av ved å endre det du ser og hører i bakgrunnen.”
Dette kan jo være PR-spinn, men han hevder i tillegg at hodesettet er overbevisende nok til at hodesettet kan endre hvordan en person føler seg og derfor også potensielt kan forbedre jobb-ytelsen og få brukeren til å slappe mer av enn hva vedkommende ellers hadde klart. Apple har annonsert en meditasjons-app til hodesettet.
Utvikleren skryter også hemningsløst av et lydsystem som leverer ray tracing i lydform og hvordan hodesettet har en 3D-modell av øret til brukeren samt størrelsen på hodet og posisjonen til ørene. Crispin forklarer at Meta Quest kalkulerer tidsforskjellen mellom hvert øre når brukeren opplever 3D-lyd, og deretter justerer lydnivået for å skape surround-effekten. Han mener også at Quest 2 ikke har ytelsen til ray tracing-lydsystemer.
Annonse
