Hopp til navigasjon Hopp til innhold
Fra venstre: Matt King, Jeff Wieland og Shaomei Wu. (Ill.: Facebook)

Facebook har fått til noe som høres umulig ut

Silicon Valley (ITavisen): Snart kan blinde «høre bilder».

Silicon Valley (ITavisen:) Facebook har jobbet i fem år for å gjøre Facebook-opplevelsen bedre for personer med handicap.

Oppdatert, 06:07:

Til ITavisen bekrefter Facebooks talsperson at oppdateringen rulles ut globalt i løpet av neste uke, eventuelt noe senere. Med tekst-til-tale satt til engelsk skal det altså fungere også på det norske markedet, men kun med engelsk tale.

Alt innhold må være tilgjengelig for alle
Video-teksting er allerede implementert, det samme er tekststørrelse-støtte i iOS-appen – en av ti bruker faktisk denne funksjonen allerede, men Facebook kan gjøre mer.

– Blinde og individer med svakt syn bruker ofte en tekst-til-tale-tjenester. Utfordringen for Facebook er å kode slik at alle nye funksjoner som implementeres også kan brukes av handikappede. Det er en stor utfordring når man skjønner hvor stor plattformen er. Ikoner, knapper og alt annet lages av et lite team, for så å brukes av resten av selskapet. Vi er ikke nødvendigvis kun et design eller funksjons-team, men litt av alt, avslører Facebooks Jeff Wieland, sjef for tilgjengelighet.

Med seg har han blinde Matt King som har 25 års erfaring hos IBM. Han ble hyret av Facebook i fjor.

Hele 246 millioner verden over har svært svakt syn, mens 39 millioner er helt blinde – dette er på mange måter et problem som ikke får nok oppmerksomhet.

Image_product_shot3
Slik leser Facebooks nye iOS-app opp beskrivelser av bilder.

AI analyserer bildene
– Nå skal vi prøve å innovere for å kunne lage mer robuste funksjoner for handikappede. Vi skal prøve å gjøre det mulig for personer som ikke kan se, å få dem til å skjønne hva et bilde inneholder. I løpet av det siste året har vi samarbeidet med AI-teamet for å få til dette, forklarte Wieland oss.

Facebook tror AI-objekt-gjenkjennelse er det som skal til. –  Maskiner må gjøre dette, det er naturligvis for mange bilder til at folk kan sitte og gjøre dette manuelt. Deler av arbeidet AI-folkene forsker på hos Facebook blir trolig åpen kildekode.

Omfattende samarbeid
Nettsiden må kodes for å få til dette, det samme må nettleseren, i testversjonen ble Safari brukt. Deretter tar tekst-til-tale-funksjonen til seg informasjonen og leser opp bilde-beskrivelsen.

Det er svært mange team som må til for å få til dette. W3.org sørger for å standardisere arbeidet for forbedret tilgjengelighet for handikappede.

– Bildet inneholder skyer, trær og er tatt utendørs, forklarer datastemmen, men får ikke med seg at bildet er tatt vinterstid, forklarer blinde Matt King.

– Nå er vi veldig konservative i forhold til hva stemmen leser opp, selv om AI-en kan analysere langt flere objekter i utgangspunktet. Dette er fordi vi ikke vil ta noen sjanser slik at blinde kan være helt sikre på at de ikke dummer seg ut på noen måte med upassende kommentarer eller andre problemer.

Teknologien er fersk, derfor er ord-forrådet i skrivende stund konservativt for å unngå å bomme.
Teknologien er fersk, derfor er ord-forrådet i skrivende stund konservativt for å unngå å bomme.
Her fikk den ikke med seg at bildet er tatt vinterstid og derfor er dekket av snø.
Her fikk den ikke med seg at bildet er tatt vinterstid og derfor er dekket av snø.

I lukket beta
– Antallet personer i bilder er noe vi jobber med for å få til, men igjen: vi ønsker å gjøre dette på en måte som er godt tilrettelagt på alle måter, inkludert personvern. Vi ønsker i fremtiden å konstruere en mer nyansert forklaring over hva bildet inneholder. I turbildet hadde det vært bedre om AI-en fikk med seg at personene har på seg ryggsekker. Slik det er per i dag er ikke fysiske aktiviteter inkludert, som å løpe, gå eller sitte, forklarer King.

Facebook har lansert en lukket beta av tjenesten. 5000 personer fikk teste. De samme personene gir tilbakemeldinger til for konstant å forbedre opplevelsen. Foreløpig er kun engelsk tale støttet i iOS – flere språk kommer snart, men ikke forvent norsk med det første. Instagram-støtte kommer senere (det samme gjelder Messenger), men er ikke prioritert før Android og bedre språkstøtte. – Det bør komme kjapt. Vi har ingen dato, men vi snakker uker og måneder – ikke år.

Hva med reklame i nyhetsstrømmen? Det er mer usikkert om vi kommer til å gjøre det samme med slikt innholdet da det er opp til selskapet hva de ønsker å kommunisere I så fall er det mer logisk at de som reklamerer sender inn sin egen bildetekst.

Den første versjonen er lansert, men kun for iOS og kun på engelsk og i følgende marked: USA, Storbritannia, New Zealand og Canada. – Maskiner som leste opp tekst tidligere var store som en vaskemaskin og kostet flere tusen dollar. Nå har vi samme funksjonalitet i lomma, forklarer en glad King. Dette er det uten tvil grunn til å være stolt av.

Dette registreres nå

  • Transport: bil, båt, fly, sykkel, tog, vei, motorsykkel, buss
  • Natur: utendørs, fjell, tre, snø, himmel, hav, strand, bølge, sol, gress
  • Sport: tennis, svømming, stadium, basketball, baseball, gold
  • Mat: iskrem, sushi, pizza, dessert, kaffe
  • Utseende: baby, briller, skjegg, smil, smykker, sko
  • Selfies
Matt King under presse-presentasjonen.
Matt King under presse-presentasjonen.
Stikkord: facebook, Silicon Valley