En stor milepæl ser ut til å være i hendene til Apple etter flere år der selskapet har hengt etter i AI-kappløpet.
Apple kan ha oppdaget den hellige gral med AI-forbedringer
For en av de viktigste tingene med en moderne Siri vil være at hun skjønner kontekst, og husker hva du tidligere har kommunisert med henne – nå ser det ut til, takket være publikasjonen av et forskningsnotat, at Apple har fått det til, og mye mer:
«De imponerende ytelsesforbedringene i moderne språkmodeller er for øyeblikket avhengige av skalering av parametere: større modeller lagrer mer verdenskunnskap og resonerer bedre. Likevel er det unødvendig å komprimere all verdens kunnskap inn i modellparametere, siden bare en brøkdel brukes per forespørsel, og upraktisk for enheter med begrenset minne og prosesseringskraft ved kjøring. Vi adresserer dette problemet med en minne-forsterket arkitektur og en forhåndstreningsstrategi som er tilpasset eksisterende maskinvareparadigmer. Vi introduserer små språkmodeller som får tilgang til store, hierarkiske parameterminnebanker som koder verdenskunnskap. Under både forhåndstrening og bruk hentes en liten, kontekstavhengig minneblokk og legges til modellen.»
AI-forskerne legger til at modellene vil lagre korthale minneparametre, altså mindre vanlig kunnskap, og at «en mindre språkmodell «fungerer som et anker som fanger opp generell kunnskap og resonneringsevne.»
Annonse
Hadi Pouransari, David Grangier, C Thomas, Michael Kirchhof, Oncel Tuzel:
Gjennom eksperimenter i trillioner av tokens viser vi betydelige forbedringer: en modell med 160 millioner parametere, supplert med et minne på 18 millioner parametere hentet fra en minnebank på 4,6 milliarder, oppnår sammenlignbar ytelse med en vanlig modell med mer enn dobbelt så mange parametere.
Kjøp krypto, aksjer og ETF-er uten skjulte gebyrer
Bitcoin, Ethereum og 70+ kryptoer. 0 % provisjon på aksjer. Kopier erfarne tradere.
Kjøp og selg 70+ kryptoer
- 💰 Bitcoin, Ethereum m.fl.
- 🧪 Gratis demokonto
- 🔐 Lommebok og sikkerhet
0 % provisjon på aksjer
- 📊 Amerikanske og europeiske
- 📦 0 % ETF-handelsgebyr
- 🧩 Fraksjonsaksjer
Kopier erfarne tradere
- 🔁 CopyTrader
- 🏆 Toppstrategier
- 📊 Innsikt og statistikk
Apples forskere forklarer også hvordan de kommer til å kutte ned på antall forespørsler: LLM-er lagrer mange fakta i parameterne sine under forhåndstrening (Roberts et al., 2020), hvorav de fleste utgjør kunnskap fra den «lange halen», altfor spesifikk informasjon som ofte er unødvendig for den tiltenkte bruken. For eksempel lagrer deler av parameterne i Qwen3-2B-modellen (Yang et al., 2025) faktumet at Albert Einstein ble født 14. mars 1879, en detalj som ikke er vesentlig for å utføre oppgaver som en personlig assistent på enheten, men som likevel lastes permanent inn i RAM og tas med i hver beregning. Ideelt sett burde denne kapasiteten heller brukes til resonnering og sunn fornuft.»
For å løse problemet og for å skape et system som bedre husker den korrekte informasjonen, foreslår Apples AI-team å bruke et anker-system:
«Vi foreslår å bruke en basismodell som et anker for å fange opp generell kunnskap og resonneringsevner, og utvide den med en minnebank som dedikerer et stort sett med minneparametere til kunnskap fra den lange halen.
I figur 1 illustrerer vi dette gjennom en representativ kunnskapsintensiv oppgave: å forutsi atomnummeret til grunnstoffer. Ytelsen ved standard forhåndstrening svekkes for eksempler med lavere frekvens i treningsdataene. Denne svekkelsen tilskrives såkalt katastrofal glemsel (Toneva et al., 2018), som oppstår når destruktive gradientoppdateringer forårsaket av ulikt innhold (Ghosal et al., 2025) anvendes på det samme settet med parametere.
I kontrast aktiveres og oppdateres minneparametrene i den foreslåtte metoden kun på sekvenser med lignende temaer, noe som reduserer sårbarheten for glemsel. I tillegg til fordeler knyttet til treningsdynamikk, gir det å skille ut langhale-kunnskap i dedikerte minneparametere flere ekstra fordeler, som diskutert nedenfor.»
Med den nye modellen kan Apple implementere en rekke fordeler, og ikke bare klare å levere en Siri som skjønner kontekst:
- Lokale AI-funksjoner på små enheter som iPhone, Watch og Vision Pro uten behov for skyprosessering
- Vesentlig raskere Siri med bedre faktasvar uten å øke modellstørrelsen
- Smartere Spotlight-søk og dypere koblinger mellom apper som Mail, Notater og Kalender
- Sterkere personvern fordi kunnskap kan hentes fra sikre, lokale minnebanker i stedet for skyen
- Mulighet for små kunnskapsoppdateringer i stedet for store modellnedlastinger
- Lavere batteribruk og varmeutvikling fordi bare relevante minneblokker brukes
- Egne minnebanker for bedrifter, utviklere, språk eller regioner
- Effektiv bruk av eksisterende lagring (RAM og SSD) gjennom hierarkisk minnestruktur
- Forbedret ytelse i oversettelse, diktering og tekstforståelse lokalt på enheten
- Bedre balanse mellom pålitelighet, hastighet og personvern i Apple Intelligence
