Lo studio rileva che anche i migliori sistemi di riconoscimento vocale mostrano pregiudizi

0
5

Iscriviti a Transform 2021 per i temi più importanti nell'intelligenza artificiale e nei dati aziendali. Per saperne di più.

Persino gli algoritmi avanzati di riconoscimento vocale automatico (ASR) faticano a riconoscere gli accenti delle persone provenienti da determinate regioni del mondo. Questo è il risultato più importante di un nuovo studio pubblicato dai ricercatori dell'Università di Amsterdam, del Netherlands Cancer Institute e della Delft University of Technology, che ha scoperto che un sistema ASR per la lingua olandese riconosceva parlanti di specifici gruppi di età, sesso, e paesi di origine migliori di altri.

Il riconoscimento vocale ha fatto molta strada da quando la macchina Shoebox di IBM e la bambola Julie di Worlds of Wonder. Ma nonostante i progressi resi possibili dall'intelligenza artificiale, i sistemi di riconoscimento vocale oggi sono nella migliore delle ipotesi imperfetti e, nel peggiore dei casi, discriminatori. In uno studio commissionato dal Washington Post, i famosi altoparlanti intelligenti di Google e Amazon avevano il 30% di probabilità in meno di comprendere gli accenti non americani rispetto a quelli degli utenti nativi. Più recentemente, il progetto Voice Erasure della Algorithmic Justice League ha scoperto che i sistemi di riconoscimento vocale di Apple, Amazon, Google, IBM e Microsoft raggiungono collettivamente tassi di errore di parola del 35% per le voci afroamericane contro il 19% per le voci bianche.

I coautori di questa ultima ricerca si sono proposti di indagare in che misura un sistema ASR per l'olandese riconosce il discorso di diversi gruppi di parlanti. In una serie di esperimenti, hanno osservato se il sistema ASR potesse competere con la diversità nel linguaggio lungo le dimensioni di genere, età e accento.

I ricercatori hanno iniziato facendo in modo che un sistema ASR acquisisse dati campione da CGN, un corpus annotato utilizzato per addestrare modelli linguistici di intelligenza artificiale a riconoscere la lingua olandese. CGN contiene registrazioni parlate da persone di età compresa tra i 18 ei 65 anni provenienti dai Paesi Bassi e dalla regione belga delle Fiandre, che coprono stili di discorso tra cui notizie trasmesse e conversazioni telefoniche.

CGN ha ben 483 ore di discorso parlato da 1.185 donne e 1.678 uomini. Ma per rendere il sistema ancora più robusto, i coautori hanno applicato tecniche di potenziamento dei dati per aumentare le ore totali di addestramento dei dati "nove volte".

Quando i ricercatori hanno eseguito il sistema ASR addestrato attraverso un set di test derivato dal CGN, hanno scoperto che riconosceva il linguaggio femminile in modo più affidabile rispetto a quello maschile, indipendentemente dallo stile di discorso. Inoltre, il sistema ha faticato a riconoscere il discorso delle persone anziane rispetto ai giovani, potenzialmente perché il primo gruppo non era ben articolato. Inoltre, è stato più facile rilevare la voce di madrelingua rispetto a quelli non madrelingua. In effetti, il linguaggio dei madrelingua più riconosciuto, quello dei bambini olandesi, ha avuto un tasso di errore di parole superiore di circa il 20% rispetto a quello della migliore fascia di età non nativa.

In generale, i risultati suggeriscono che il discorso degli adolescenti è stato interpretato nel modo più accurato dal sistema, seguito da quello degli anziani (di età superiore ai 65 anni) e dei bambini. Questo vale anche per i non madrelingua che erano altamente competenti nel vocabolario e nella grammatica olandese.

Come sottolineano i ricercatori, sebbene sia in una certa misura impossibile rimuovere il bias che si insinua nei set di dati, una soluzione è mitigare questo bias a livello algoritmico.

"[We recommend] inquadrare il problema, sviluppare la composizione del team e il processo di implementazione da un punto di previsione, individuazione proattiva e sviluppo di strategie di mitigazione del pregiudizio affettivo [to address bias in ASR systems]", Hanno scritto i ricercatori in un documento che dettagliava il loro lavoro. “Una strategia di mitigazione del bias diretto riguarda la diversificazione e l'obiettivo di una rappresentazione equilibrata nel set di dati. Una strategia di mitigazione del bias indiretto si occupa di una composizione di team diversificata: la varietà di età, regioni, sesso e altro fornisce obiettivi aggiuntivi per individuare potenziali bias nella progettazione. Insieme, possono aiutare a garantire un ambiente di sviluppo più inclusivo per ASR. "

VentureBeat

La missione di VentureBeat è quella di essere una piazza della città digitale per i responsabili delle decisioni tecniche per acquisire conoscenze sulla tecnologia trasformativa e sulle transazioni.

Il nostro sito fornisce informazioni essenziali sulle tecnologie e strategie dei dati per guidarti mentre guidi le tue organizzazioni. Ti invitiamo a diventare un membro della nostra community, per accedere a:

  • informazioni aggiornate sugli argomenti di tuo interesse
  • le nostre newsletter
  • contenuti gated leader di pensiero e accesso scontato ai nostri eventi pregiati, come Trasforma il 2021: Per saperne di più
  • funzionalità di rete e altro ancora

Diventare membro

LASCIA UN COMMENTO

Per favore inserisci il tuo commento!
Per favore inserisci il tuo nome qui