Nvidia har avslørt sin nye plattform for spill-utviklere: “Avatar Cloud Engine.”
Dette kan bli utrolig bra
Selskapet tar av i markedet takket være tidlig investering i AI-maskinvare. Nå som AI er i ferd med å finne sin plass i et stadig større antall forbrukerprodukter og tjenester, er det klart de gjør det bra. Men hva med spill? Det har vært snakk om Microsoft 365 og Windows og kontor-kjedelige ting, forskning og bilde-maniulasjon. Vel, nå er selskapet klare til å vise teknologi der spiller kan snakke til NPC-er og få svar som ikke er forhåndsprogrammerte.
Det hele er under Nvidia Omniverse-paraplyen, og kombinerer følgende teknologi:
- NVIDIA NeMo – for å bygge, tilpasse og distribuere språkmodeller ved å bruke proprietære data. De store språkmodellene kan tilpasses med historier og karakterbakgrunner, og beskyttes mot kontraproduktive eller utrygge samtaler via NeMo Guardrails.
- NVIDIA Riva – for automatisk talegjenkjenning og tekst-til-tale for å aktivere direkte talesamtale.
- NVIDIA Omniverse Audio2Face – for øyeblikkelig å lage uttrykksfull ansiktsanimasjon med en spillkarakter for å matche talespor. Audio2Face har Omniverse-kontakter for Unreal Engine 5, slik at utviklere kan legge til ansiktsanimasjon direkte til MetaHuman-karakterer.
Rammeverket på plass
Demoen under er døpt “Kairos” der man som spiller møter en NPC kalt Jin i en ramen-gaterestaurant satt i, selvsagt, en dystopisk fremtid. Demoen er ikke perfekt, men det er lett å se for seg at Nvidias “NeMo” blir like bra som ChatGPT, og at man på den måten kun trenger en mikrofon for å fullføre oppdrag, eller rett og slett bare snakke med “folk” i spillene. Ansiktene reagerer også sånn ca. korrekt i forhold til hva som blir sagt.
Utover det kjører demoen Unreal Engine 5 med ray tracing og DLSS. Det er ikke kjent hvilke spill som får teknologien først, men Stalker 2 og Fort Solis skal bruke “Omniverse Audio2Face” for mer realisme i ansiktsuttrykkene når NPC-ene snakker.
Charisma.ai, et selskap som muliggjør virtuelle karakterer gjennom AI, utnytter Audio2Face for å drive animasjonen i samtalemotoren.
Nvidia
Annonse
