Et forskningsdokument fra Apples utviklere, delt med alle som ønsker å lese de tekniske detaljene, tyder på at Apple har løst utfordringene med lokal prosessering av AI-spørringer i lomma, men det er mer.
Dette vil komme alle til gode
For den store gladnyheten er at selskapets forskere skal ha funnet en måte å levere LLM-modeller lokalt også på iPhones effektivt på også eldre modeller. Hvordan har Apple løst dette? Ved å bruke lagringsbrikkene på iPhones, som jo som regel har 128GB og mer, til stor kontrast med mange iPhones som har 4GB og kanskje 6GB RAM.
Apple oppgraderte nettopp de nyeste 15 Pro-modellene til 8GB RAM samtidig som mange Androids har 12GB og mer. Selskapet er altså ikke fans, av den ene eller andre årsaken, av å proppe produktene sine fulle av RAM. Dette er stadig kontroversielt, men spesielt med MacBook Pro som fremdeles starter med 8GB RAM.
Mye bedre ytelse
Teknikken går grovt fortalt på å resirulkere data som er brukt tidligere (“windowing”,) noe som minimerer behovet for mobilen å gå tilbake til informasjon i RAM-en. Den andre teknikken er kalt “row-column bundling” som er “skreddersydd til de sekvensielle datatilgangsstyrkene til flash-minnet, og som øker størrelsen på databiter som leses fra flash-minnet.
Annonse
De to teknikkene gjør det mulig å kjøre LLM-modeller opp til det dobbelte av hvor mye RAM mobilen kan bruke og det forbedrer ytelsen dramatisk:
“Kombinasjonen av disse metodene gjør at AI-modeller kan kjøre opp til det dobbelte av iPhones tilgjengelige minne, ifølge avisen. Dette betyr en 4-5 ganger økning i hastighet på CPU-er, og en imponerende 20-25 ganger bedre ytelse på GPU-er,” skriver MacRumors.
Apple sitt AI-rammeverk er for øvrig døpt Ajax, noe vi rapporterte om i juli:
Med rammeverket som internt kalles “Ajax” (siden 2022) bygger selskapet sin egen generative AI “Apple GPT.” Vi har lenge fundert på når Siri får et skikkelig og veldig nødvendig løft, og det kan derfor se ut til å skje neste år – kanskje med iOS 18?
Faktisk har Apple allerede nyttet Ajax for å forbedre AI-oppgaver relatert til søk, Siri og kart. “Nå brukes Ajax for å skape store språk-modeller som skal fungere som fundamentet for en intern ChatGPT-lignende verktøy,” avslører Gurman som har snakket med personer med kjennskap til Apples hemmelige planer.
Selv om Apple ikke har snakket om det, ser vi på det som nærmest utenkelig at iOS 18 lanseres med Siri uten en LLM, så får vi se om de rekker en lokal en. Det er allerede lekket Samsung utstyrer sin nye Galaxy S24-serie med en ny Galaxy AI. De nye modellene ventes 17. januar.
Annonse
