Google har avslørt sitt nyeste prosjekt, Astra, på Google IO der de også avslørte at AI kommer til søk og at Gemini bakes inn i Android 15.
Oppdater, 12:29:
«Gemini Nano with Multimodality» lanseres først til Pixel senere i år.
Den nye generasjonen kan alt og er bygget inn i Android
Dette er ment å være den helt nye generasjonen assistenter som ikke bare tar over for dagens som ikke har LLM-er, men som også kan se og høre. Fordi dette har merkelappen «prosjekt,» vil det ta tid før tjenesten er forbruker-klar, men dette er retningen Google nå tar.
Annonse
Vi laget en demo der en tester samhandler med en prototype av AI-agenter støttet av vår multimodale grunnmodell, Gemini. Det er to kontinuerlige opptak: en med prototypen som kjører på en Google Pixel-telefon og en annen på en prototypebrilleenhet. Agenten tar inn en konstant strøm av lyd- og videoinndata. Den kan resonnere om miljøet i sanntid og samhandle med testeren i en samtale om hva den ser.
Google
«I en utrolig imponerende demovideo som Hassabis sverger ikke er forfalsket eller manipulert på noen måte, ber en Astra-bruker på Googles kontor i London systemet identifisere en del av en høyttaler, finne de manglende brillene deres, gjennomgå koden og mer,» rapporterer The Verge, og refererer til en demo i desember i fjor:
«Google sin Gemini-video var veldig imponerende først, men litt mindre nå som det viser seg at ingen snakket med den i sanntid: i stedet ble den matet kommandoer.»
