In qualità di sviluppatori di Crystal, la prima consulente AI per la data intelligence, non potremmo naturalmente essere più orgogliosi di lei. Ma i bias non sono sempre positivi.
Arrossirei se potessi
Un recente rapporto dell'UNESCO ha messo sotto i riflettori "l'ossequio e il servilismo femminile espresso dagli assistenti digitali proiettati come giovani donne".
Il nome stesso del rapporto si ispira alla risposta che Siri, l'assistente virtuale di Apple, dava quando i suoi utenti la molestavano sessualmente. Apple ha aggiornato il software di Siri, consentendo all'assistente vocale di respingere le domande esplicite con un secco "Non so come rispondere".
Per affrontare i problemi alla base dei pregiudizi di genere nell'intelligenza artificiale, però, occorre più di un aggiornamento del software.
Progettato da uomini bianchi per uomini bianchi
Secondo la società di ricerca Ovum, nel 2021 sul nostro pianeta ci saranno più assistenti vocali che persone. Questo numero impressionante riflette un cambiamento tecnologico più ampio: il Future Today Institute prevede che entro il 2021 la metà delle interazioni degli esseri umani con le macchine avverrà tramite voce.
Con il passaggio alla tecnologia hand-free, digiteremo meno e parleremo di più con i nostri dispositivi. Questo cambiamento tecnologico comporta però alcuni rischi.
Il rapporto dell'UNESCO sottolinea che la diffusione di assistenti vocali AI "sviluppati da team prevalentemente maschili" e in gran parte "progettati come giovani donne" potrebbe perpetuare pregiudizi di genere dannosi e ampliare i divari di genere già esistenti.
"I pregiudizi possono... emergere nei sistemi di IA a causa del sottoinsieme molto ristretto della popolazione che li progetta", si legge in un rapporto del 2017 dell'istituto di ricerca AI Now.
"Gli sviluppatori di IA sono per lo più uomini, in genere altamente retribuiti e con una formazione tecnica simile. I loro interessi, le loro esigenze e le loro esperienze di vita si rifletteranno necessariamente nell'IA che creano. I pregiudizi, consapevoli o inconsapevoli, riflettono problemi di inclusione e rappresentazione".
Uno studio delle Nazioni Unite del 2019 ha esaminato 70 assistenti vocali basate su IA in tutto il mondo e ha scoperto che oltre due terzi di essi hanno voci femminili e nessuna opzione per passare a una versione maschile.
Come sottolinea il rapporto dell'UNESCO, le assistenti digitali femminili non sono sempre state la norma. "Forse il parente più prossimo agli attuali assistenti virtuali multiuso erano i sistemi di navigazione per auto", si spiega. "Le voci di questi sistemi fornivano indicazioni terse e autorevoli... ed erano quasi sempre maschili".
Uno dei pochi modelli di auto dotati di voce femminile per la navigazione, una BMW Serie 5 della fine degli anni '90, è stato ritirato in Germania perché molti automobilisti si lamentavano di ricevere indicazioni da una donna.
La tecnologa dell'AI Kriti Sharma ha osservato in un intervento al TedX del 2018 che, mentre gli assistenti virtuali "progettati per essere i nostri servi obbedienti" tendono ad avere voci femminili per impostazione predefinita, gli esempi più autorevoli di prodotti alimentati dall'IA, come ROSS l'avvocato robot, o le soluzioni B2B come IBM Watson o Salesforce Einstein hanno solitamente voci maschili.
Bias in, bias out
Gartner stima che entro il 2022 l'85% dei progetti di IA produrrà risultati errati a causa di pregiudizi nei dati, negli algoritmi o nei team responsabili della loro gestione.
I pregiudizi algoritmici fanno notizia da anni: dai sistemi di riconoscimento facciale che non riescono a distinguere le persone di colore, agli algoritmi che propongono annunci per lavori altamente retribuiti agli uomini rispetto alle donne, l'elenco continua.
Gli algoritmi sono insiemi di regole che consentono all'intelligenza artificiale di "imparare" dai dati.
Nell'era dei big data, la qualità dei dati è importante quanto le regole stesse, in quanto determinerà in ultima analisi il risultato finale, ad esempio l'accuratezza delle risposte che gli assistenti virtuali forniranno ai loro utenti.
Gli informatici si riferiscono a questo concetto come GIGA: garbage in, garbage out. Quando si parla di pregiudizi di genere nell'intelligenza artificiale, la dottoressa Fei-Fei Li, co-direttrice dello Human-Centered AI Institute dell'Università di Stanford, parla di "bias in, bias out".
Testimoniando di fronte alla Camera dei Rappresentanti degli Stati Uniti nel 2018, la dottoressa Li ha evidenziato il fatto che "l'umanità non ha mai creato una tecnologia così simile a noi, o che cerca di assomigliare a chi siamo", e ha sottolineato l'importanza di "un'ampia rappresentanza dell'umanità che sviluppa l'IA".
Infrangere gli stereotipi
Veniamo al nostro bias.
Come azienda di intelligenza artificiale, crediamo nella diversità, non solo in termini di razza e genere, ma anche culturale, lavorando con un team di persone provenienti da contesti diversi, con punti di vista differenti.
Il nostro primo prodotto, Crystal, è sempre stato una "lei" per noi, ma che ha ben poco in comune con gli assistenti virtuali, anzi nulla, a parte la tecnologia AI conversazionale che sta alla base e il fatto che ha un carattere femminile.
Crystal è il primo consulente AI per l'intelligenza dei dati - consulente, non assistente.
Per quanto riguarda l'umanizzazione dell'IA, pensiamo a Crystal come a un collega di lavoro perspicace, non a una segretaria ossequiosa. Non reagisce agli ordini, ma agisce alla pari, offrendo consigli e notifiche proattive ai suoi utenti.
Essendo una soluzione B2B, Crystal ha tutte le caratteristiche delle sue controparti "maschili" e assertive. È stata concepita e sviluppata come consulente B2B per aiutare le aziende a prendere decisioni migliori con i loro dati.
In questo senso, Crystal è forse simile al sistema di navigazione vocale della BMW Serie 5 della fine degli anni Novanta, che fornisce agli utenti indicazioni chiare e risolutive.
Solo che non vogliamo che la gente la guidi, ma che sia lei a guidare il loro business.
.gif)
.svg.png)