Donne nere, intelligenza artificiale e superamento dei modelli storici di abuso

0
10

Partecipa al GamesBeat Summit 2021 dal 28 al 29 aprile. Registrati per un pass gratuito o VIP oggi.

Dopo che un documento di ricerca del 2019 ha dimostrato che gli strumenti di analisi facciale disponibili in commercio non funzionano per le donne con la pelle scura, i dirigenti di AWS sono andati all'attacco. Invece di offrire risultati di prestazioni più equi o consentire al governo federale di valutare il proprio algoritmo come hanno fatto altre società con tecnologia di riconoscimento facciale, i dirigenti di AWS hanno tentato di screditare i coautori dello studio Joy Buolamwini e Deb Raji in più post sul blog. Più di 70 rispettati ricercatori di intelligenza artificiale hanno rimproverato questo attacco, hanno difeso lo studio e hanno invitato Amazon a smettere di vendere la tecnologia alla polizia, una posizione che l'azienda ha temporaneamente adottato lo scorso anno dopo la morte di George Floyd.

Ma secondo l'Abuse and Misogynoir Playbook, pubblicato all'inizio di quest'anno da un trio di ricercatori del MIT, il tentativo di Amazon di diffamare due ricercatori di intelligenza artificiale di donne nere e screditare il loro lavoro segue una serie di tattiche che sono state utilizzate contro le donne di colore per secoli. Moya Bailey ha coniato il termine "misogynoir" nel 2010 come combinazione di "misoginia" e "noir". I coautori di Playbook Katlyn Turner, Danielle Wood e Catherine D'Ignazio affermano che queste tattiche sono state utilizzate anche per screditare l'ex co-leader del team di Ethical AI Timnit Gebru dopo che Google l'ha licenziata alla fine del 2020 e sottolineano che è un modello che gli ingegneri e gli scienziati dei dati devono riconoscere .

L'Abuse and Misogynoir Playbook fa parte del rapporto State of AI del Montreal AI Ethics Institute ed è stato compilato dai professori del MIT in risposta al trattamento di Gebru da parte di Google, una storia che VentureBeat ha trattato in modo approfondito. I coautori sperano che il riconoscimento dei fenomeni si rivelerà un primo passo per garantire che queste tattiche non siano più utilizzate contro le donne nere. Lo scorso maggio, VentureBeat ha scritto di una lotta per l'anima dell'apprendimento automatico, evidenziando i legami tra la supremazia bianca e aziende come Banjo e Clearview AI, oltre a richieste di riforma da parte di molti nel settore, comprese importanti donne nere.

Danielle Wood, assistente professore del MIT, il cui lavoro si concentra sulla giustizia e sulla ricerca spaziale, ha detto a VentureBeat che è importante riconoscere che le tattiche delineate nel Playbook Abuse and Misogynoir possono essere utilizzate in quasi tutti i campi. Ha osservato che mentre alcuni si aggrappano alla convinzione dell'imparzialità dei risultati basati sui dati, il campo dell'IA non è in alcun modo esente da questo problema.

"Questo è un processo, una serie di cose correlate e il processo deve essere descritto passo dopo passo, altrimenti le persone non capiranno il punto", ha detto Wood. "Posso far parte di un sistema che pratica il misoginoir e sono una donna nera. Poiché è un'abitudine così prolifica, è qualcosa a cui potrei partecipare senza nemmeno pensarci. Tutti noi possiamo. "

Sopra: The Abuse and Misogynoir Playbook (Design by Melissa Teng)

Credito immagine: design di Melissa Teng

Il playbook delinea l'abuso intersezionale e unico rivolto alle donne di colore in cinque fasi:

Passaggio 1: una studentessa di colore dà un contributo che dice la verità al potere o sconvolge lo status quo.

Passaggio 2: incredulità nel suo contributo da persone che dicono che i risultati non possono essere veri e pensano che una donna nera non avrebbe potuto fare la ricerca o trovare un altro modo per mettere in discussione il suo contributo.

Passaggio 3: licenziamento, discredito e illuminazione a gas ne consegue. Il tentativo pubblico del capo dell'IA Jeff Dean di screditare Gebru insieme ai colleghi è un esempio da manuale. Allo stesso modo, dopo che gli attuali ed ex dipendenti di Dropbox hanno denunciato la discriminazione di genere in azienda, il CEO di Dropbox Drew Houston ha tentato di screditare i risultati del rapporto, secondo i documenti ottenuti da VentureBeat.

Gaslighting è un termine tratto dal film Gaslight del 1944, in cui un personaggio fa di tutto per far sì che una donna rinneghi i suoi sensi, ignori la verità e si senta come se stesse impazzendo. Non è raro in questa fase che le persone considerino il contributo della donna nera presa di mira un tentativo di armare la pietà o la simpatia. Un altro caso che ha scatenato accuse di gaslight ha coinvolto pregiudizi algoritmici, lo scienziato capo AI di Facebook Yann LeCun e Gebru.

Passaggio 4: cancellazione. Nel tempo, le contro-narrazioni, la deplatforming e l'esclusione vengono utilizzate per impedire a quella persona di svolgere il proprio lavoro come parte dei tentativi di cancellare i propri contributi.

Passaggio 5: revisionismo cerca di nascondere i contributi delle donne nere e può portare a versioni imbiancate di eventi e lenti progressi verso la giustizia.

Negli ultimi anni c'è stato un flusso costante di storie sul genere e sui pregiudizi razziali nell'intelligenza artificiale, un punto evidenziato dai titoli delle notizie di questa settimana. Il Wall Street Journal ha riferito venerdì che i ricercatori hanno scoperto che l'algoritmo di Facebook mostra annunci di lavoro diversi a uomini e donne ed è discriminatorio ai sensi della legge statunitense, mentre Vice ha riferito di una ricerca che ha rilevato che il riconoscimento facciale utilizzato dal software di proctorio remoto di Proctorio non funziona bene per le persone con la pelle scura. più della metà del tempo. Ciò segue la copertura di VentureBeat sui pregiudizi razziali nel software di controllo remoto basato sul riconoscimento facciale di ExamSoft, che è stato utilizzato negli esami di stato nel 2020.

Le indagini di The Markup di questa settimana hanno rilevato divieti pubblicitari nascosti dietro un algoritmo per una serie di termini su YouTube, tra cui "Black in tech", "antirazzismo" e "Black Excellence", ma è ancora possibile fare pubblicità ai suprematisti bianchi nel video piattaforma.

Case study: Timnit Gebru e Google

Il trattamento di Gebru da parte di Google illustra ogni passaggio del playbook. Il suo contributo rivoluzionario allo status quo, ha detto Turner a VentureBeat, è stato un documento di ricerca sull'intelligenza artificiale sui pericoli dell'utilizzo di modelli linguistici di grandi dimensioni che perpetuano il razzismo o gli stereotipi e portano un impatto ambientale che può indebitamente appesantire le comunità emarginate. Altre interruzioni percepite, ha detto Turner, includevano la creazione di Gebru di uno dei team più diversificati all'interno di Google Research e l'invio di un'email critica al listserv interno di Google Brain Women and Allies che è trapelata a Platformer.

Poco dopo essere stata licenziata, Gebru ha detto che le è stato chiesto di ritirare il documento o rimuovere i nomi dei dipendenti di Google. Questo era il secondo passaggio del Misogynoir Playbook. Nel mondo accademico, ha detto Turner, la ritrattazione è presa molto sul serio. È generalmente riservato alla falsità scientifica e può porre fine alle carriere, quindi chiedere a Gebru di rimuovere il suo nome da una ricerca valida era irragionevole e parte degli sforzi per far sembrare irragionevole la stessa Gebru.

La prova del terzo passaggio, incredulità o discredito, può essere trovata in un'e-mail inviata dal capo dell'IA Jeff Dean che mette in dubbio la validità dei risultati del documento. Giorni dopo, il CEO Sundar Pichai ha inviato una nota ai dipendenti di Google in cui ha affermato che il licenziamento di Gebru aveva spinto l'azienda a esplorare miglioramenti alla sua politica di riduzione dell'escalation dei dipendenti. In un'intervista con VentureBeat, Gebru ha definito quel promemoria come "disumanizzante" e un tentativo di inserirla in un tropo di "donna nera arrabbiata".

Nonostante la critica di Dean, un punto che sembra perso tra le accuse di abusi, razzismo e sforzi aziendali per interferire con la pubblicazione accademica è che il team di ricercatori dietro il documento di ricerca stocastico sui pappagalli in questione era eccezionalmente qualificato per fornire analisi critica del linguaggio ampio Modelli. Una versione del documento ottenuto da VentureBeat elenca i ricercatori di Google Ben Hutchinson, Mark Diaz e Vinodkumar Prabhakaran come coautori, nonché i co-responsabili del team di Ethical AI Gebru e Margaret Mitchell. Sebbene Mitchell sia ben nota per il suo lavoro nell'etica dell'IA, è molto citata per la ricerca che coinvolge i modelli linguistici. Diaz, Hutchinson e Prabhakaran hanno esperienza nella valutazione della lingua o della PNL rispettivamente per l'età, la discriminazione contro le persone con disabilità e il razzismo. La linguista Emily Bender, coautrice principale del documento insieme a Gebru, ha ricevuto un premio dagli organizzatori di un'importante conferenza sulla PNL a metà del 2020 per il lavoro critico nei confronti di modelli linguistici di grandi dimensioni, come riportato anche da VentureBeat.

Gebru è coautore del documento di ricerca Gender Shades che ha rilevato che i modelli di analisi del viso disponibili in commercio si comportano particolarmente male per le donne con la pelle scura. Quel progetto, guidato da Buolamwini nel 2018 e continuato con Raji in un successivo articolo pubblicato all'inizio del 2019, ha contribuito a plasmare la politica legislativa negli Stati Uniti ed è anche una parte centrale di Coded Bias, un documentario ora in streaming su Netflix. E Gebru è stato uno dei principali sostenitori degli standard di documentazione dell'IA come i fogli dati per i set di dati e le schede modello, un approccio adottato da Google.

Infine, ha detto Turner, i passaggi quattro e cinque del playbook, cancellazione e revisionismo, possono essere visti nella riorganizzazione dipartimentale e nelle modifiche alle politiche sulla diversità che Google ha apportato a febbraio. Come risultato di questi cambiamenti, Marian Croak, vicepresidente di Google, è stata nominata a capo di 10 dei team di Google che valutano l'impatto della tecnologia sulle persone. Riporta direttamente al capo dell'IA Jeff Dean.

Martedì, il responsabile della ricerca di Google Samy Bengio si è dimesso dal suo ruolo presso l'azienda, secondo le notizie riportate per la prima volta da Bloomberg. Prima della ristrutturazione, Bengio era il diretto responsabile del rapporto per il team di Ethical AI.

VentureBeat ha ottenuto una copia di una lettera che i membri del team Ethical AI hanno inviato alla leadership di Google nelle settimane successive al licenziamento di Gebru che richiedeva specificamente che Bengio rimanesse il rapporto diretto per il team e che la società non implementasse alcuna riorganizzazione. Una persona che ha familiarità con questioni di etica e politica in Google ha detto a VentureBeat che la riorganizzazione era stata discussa in precedenza, ma questa fonte ha descritto un ambiente di paura dopo il licenziamento di Gebru che ha impedito alle persone di parlare.

Prima di essere nominata per la sua nuova posizione, Croak è apparsa al fianco del capo dell'IA in un incontro con i dipendenti di Black Google nei giorni successivi al licenziamento di Gebru. Google ha rifiutato di rendere Croak disponibile per un commento, ma la società ha rilasciato un video in cui ha chiesto conversazioni più "diplomatiche" sulle definizioni di equità o sicurezza.

Turner ha sottolineato che la riorganizzazione si inserisce perfettamente nel playbook.

“Penso che il revisionismo e la cancellazione siano importanti. Ha la funzione di consentire sia alle persone che al ciclo delle notizie di credere che l'arco narrativo sia accaduto, come se ci fosse qualcosa di brutto di cui ci si è presi cura: "Non preoccuparti più di questo". [It’s] tipo "Ecco questa cosa nuova", ed è davvero efficace ", ha detto Turner.

Origini del playbook

I coautori del playbook hanno affermato che è stato costruito a seguito di conversazioni con Gebru. All'inizio dell'anno, Gebru ha parlato al MIT su invito di Turner e Wood come parte di una serie di seminari di ricerca sul design tecnologico antirazzismo. Quando si è diffusa la notizia che Gebru era stato licenziato, D'Ignazio ha descritto sentimenti di rabbia, shock e indignazione. La Wood ha detto di aver provato un senso di lutto e di perdita. Si sentiva anche frustrata dal fatto che Gebru fosse stato preso di mira nonostante avesse tentato di affrontare i danni attraverso canali considerati legittimi.

"È una sensazione davvero scoraggiante di essere bloccato", ha detto Wood. "Se segui le regole, dovresti vedere il risultato, quindi penso che parte della realtà qui sia solo pensare, 'Bene, se le donne di colore cercano di seguire tutte le regole e il risultato è che non siamo ancora in grado per comunicare le nostre preoccupazioni urgenti, quali altre opzioni abbiamo? "

Wood ha detto che lei e Turner hanno trovato connessioni tra personaggi storici e Gebru nel loro lavoro nello Space Enabled Lab del MIT, esaminando sistemi sociotecnici complessi attraverso la lente di studi critici sulla razza e gruppi femministi neri queer come il Combahee River Collective.

Oltre ai casi di misoginoir e abusi su Amazon e Google, i coautori affermano che il playbook rappresenta un modello storico che è stato utilizzato per escludere autori e studiosi di donne di colore risalenti al 1700. Questi includono Phillis Wheatley, il primo poeta afroamericano pubblicato, la giornalista Ida B. Wells e l'autrice Zora Neale Hurston. In generale, i coautori hanno scoperto che le tattiche del playbook mirano a grandi atti di violenza sulle donne nere che possono essere distinti dai danni subiti da altri gruppi che sfidano lo status quo.

I coautori hanno detto che le donne al di fuori della tecnologia che sono state prese di mira dallo stesso playbook includono il giornalista del New York Times e il creatore del progetto 1619 Nikole Hannah-Jones e politici come Stacey Abrams e Rep. Ayanna Pressley (D-MA).

La lunga ombra della storia

I ricercatori hanno anche affermato di aver assunto una visione storica per dimostrare che le idee alla base di Abuse e Misogynoir Playbook sono vecchie di secoli. L'incapacità di affrontare le forze del razzismo e del sessismo sul lavoro, ha detto Turner, può portare agli stessi problemi in scenari tecnologici nuovi e diversi. Ha continuato dicendo che è importante capire che le forze storiche di oppressione, categorizzazione e gerarchia sono ancora con noi e ha avvertito che "non arriveremo mai a un'intelligenza artificiale etica se non lo capiamo".

Il campo dell'IA afferma di eccellere nel riconoscimento dei modelli, quindi l'industria dovrebbe essere in grado di identificare le tattiche dal playbook, ha detto D'Ignazio.

"Mi sento come se questa fosse una delle più enormi ignoranze, i luoghi in cui i campi tecnici non vanno, e tuttavia la storia è ciò che informerebbe tutte le nostre decisioni etiche oggi", ha detto. “La storia ci aiuta a vedere i modelli macro e strutturali nel mondo. In questo senso, lo vedo come profondamente correlato al calcolo e alla scienza dei dati perché ci aiuta ad aumentare la nostra visione e vedere come le cose oggi, come il caso del dottor Gebru, sono collegate a questi modelli e cicli che non siamo ancora stati in grado di per uscire da oggi. "

I coautori riconoscono che il potere gioca un ruolo importante nel determinare quale tipo di comportamento è considerato etico. Ciò corrisponde all'idea di privilege hazard, un termine coniato nel libro Data Feminism, di cui D'Ignazio è coautore lo scorso anno, per articolare le persone in posizioni privilegiate non riuscendo a comprendere appieno l'esperienza di chi ha meno potere.

Una visione a lungo termine sembra essere in contrasto con il tradizionale dogma della Silicon Valley che circonda la scala e la crescita, un punto sottolineato dal dottor Alex Hanna, ricercatore e sociologo del team di Google Ethical AI, settimane prima del licenziamento di Gebru. Un documento che Hanna ha scritto in collaborazione con la ricercatrice indipendente Tina Park nell'ottobre 2020 ha definito il pensiero di scala incompatibile con l'affrontare la disuguaglianza sociale.

The Abuse and Misogynoir Playbook è l'ultimo lavoro di intelligenza artificiale a cui rivolgersi per l'ispirazione. Your Computer Is On Fire, una raccolta di saggi di MIT Press e Atlas of AI di Kate Crawford, pubblicati rispettivamente a marzo e aprile, esaminano l'infrastruttura del datacenter a pedaggio e l'intelligenza artificiale assume l'ambiente ei diritti civili e rinforza le abitudini coloniali sull'estrazione di valore da persone e risorse naturali. Entrambi i libri indagano anche i modelli e le tendenze riscontrati nella storia dell'informatica.

L'autore di Race After Technology Ruha Benjamin, che ha coniato il termine "nuovo Jim Code", sostiene che una comprensione del contesto storico e sociale è necessaria anche per salvaguardare gli ingegneri dall'essere parte di violazioni dei diritti umani, come i lavoratori IBM che hanno assistito i nazisti durante la guerra mondiale II.

Un nuovo playbook

I coautori concludono chiedendo la creazione di un nuovo playbook e pongono una sfida ai creatori di intelligenza artificiale.

“Chiediamo alla comunità etica dell'IA di assumersi la responsabilità di sradicare la supremazia bianca e il sessismo nella nostra comunità, nonché di sradicare i loro effetti a valle nei prodotti di dati. Senza questa linea di base in atto, tutte le altre richieste di etica dell'IA suonano vuote e hanno un sapore di simbolismo DEI. Questo lavoro inizia riconoscendo e interrompendo le tattiche delineate nel playbook – insieme all'apparato istituzionale – che lavora per non credere, respingere, screditare, mettere a tacere e cancellare la leadership delle donne nere ".

La seconda metà di una tavola rotonda sul playbook alla fine di marzo si è concentrata sulla speranza e sui modi per costruire qualcosa di meglio, perché, come dicono i coautori, non è sufficiente ospitare eventi con il termine "diversità" o "equità". Una volta riconosciuti i modelli abusivi, i vecchi processi che hanno portato a maltrattamenti sulla base del genere o della razza devono essere sostituiti con nuove pratiche liberatorie.

I coautori osservano che creare tecnologia pensando alla liberazione fa parte del lavoro svolto da D'Ignazio come direttore del Data + Feminism Lab al MIT e di ciò che Turner e Wood fanno con il gruppo di ricerca Space Enabled del MIT Media Lab. Quel gruppo cerca modi per progettare sistemi complessi che supportano la giustizia e gli obiettivi di sviluppo sostenibile delle Nazioni Unite.

"La nostra ipotesi è che dobbiamo mostrare prototipi di modi di lavoro liberatori in modo che le persone possano capire che sono reali e quindi cercare di adottarli al posto degli attuali processi che sono in atto", ha detto Wood. "Ci auguriamo che i nostri laboratori di ricerca siano in realtà dei mini prototipi del futuro in cui cerchiamo di comportarci in un modo che sia anticoloniale, femminista, queer e colorato e abbia molte opinioni di persone di diversa estrazione".

D'Ignazio ha affermato che il cambiamento nella tecnologia – e in particolare per il campo dell'IA pubblicizzato, ben finanziato e alla moda – richiederà alle persone di considerare una serie di fattori, tra cui chi prendono soldi e con cui scelgono di lavorare. Il ricercatore di etica AI Luke Stark ha rifiutato $ 60.000 di finanziamenti da Google il mese scorso e Rediet Abebe, che ha cofondato Black in AI con Gebru, si è anche impegnata a rifiutare i finanziamenti di Google.

In altri lavori all'incrocio tra intelligenza artificiale e genere, il progetto Women in Data Science and AI di Alan Turing Institute ha pubblicato un rapporto il mese scorso che documenta i problemi che le donne nell'intelligenza artificiale devono affrontare nel Regno Unito. Il rapporto rileva che le donne occupano solo circa 1 posto di lavoro su 5 nella scienza dei dati e nell'intelligenza artificiale nel Regno Unito e chiede ai funzionari governativi di monitorare e verificare meglio la crescita delle donne in quei campi.

"I risultati della nostra ricerca rivelano ampie disparità in termini di competenze, status, retribuzione, anzianità, industria, abbandono del lavoro e background educativo, che richiedono risposte politiche efficaci se la società vuole raccogliere i benefici dei progressi tecnologici", si legge nel rapporto.

I membri del Congresso interessati alla regolamentazione algoritmica stanno prendendo in considerazione una raccolta di dati demografici sui dipendenti più rigorosa, tra le altre iniziative legislative. Google e Facebook attualmente non condividono dati sulla diversità specifici per i dipendenti che lavorano nell'ambito dell'intelligenza artificiale.

The Abuse and Misogynoir Playbook è anche l'ultima ricerca sull'intelligenza artificiale condotta da persone di origine africana per sostenere una prospettiva storica e l'adozione di pratiche anticoloniali e antirazziste.

In una lettera aperta subito dopo la morte di George Floyd lo scorso anno, un gruppo di oltre 150 professionisti del machine learning e dei computer neri ha delineato una serie di azioni per porre fine al razzismo sistemico che ha portato i neri a lasciare il lavoro nel settore informatico campo. Poche settimane dopo, i ricercatori di DeepMind di Google hanno chiesto la riforma del settore dell'IA basata su pratiche anticoloniali. Più di recente, un team di ricercatori e scienziati di dati africani di intelligenza artificiale ha raccomandato di implementare pratiche di condivisione dei dati anticoloniali poiché l'industria dei data center in Africa continua a crescere a un ritmo rapido.

VentureBeat

La missione di VentureBeat è quella di essere una piazza della città digitale per i responsabili delle decisioni tecniche per acquisire conoscenze sulla tecnologia trasformativa e sulle transazioni.

Il nostro sito fornisce informazioni essenziali sulle tecnologie dei dati e sulle strategie per guidarti mentre guidi le tue organizzazioni. Ti invitiamo a diventare un membro della nostra community, per accedere a:

  • informazioni aggiornate sugli argomenti di tuo interesse
  • le nostre newsletter
  • contenuti gated leader di pensiero e accesso scontato ai nostri eventi pregiati, come Trasforma il 2021: Per saperne di più
  • funzionalità di rete e altro ancora

Diventare socio

LASCIA UN COMMENTO

Per favore inserisci il tuo commento!
Per favore inserisci il tuo nome qui