Per fornire chiarezza ed evitare potenziali danni, gli algoritmi che hanno un impatto sulla vita umana dovrebbero idealmente essere esaminati da un organismo indipendente prima di essere distribuiti, proprio come i rapporti sull'impatto ambientale devono essere approvati prima che un progetto di costruzione possa iniziare. Sebbene negli Stati Uniti non esistano requisiti legali di questo tipo per l'IA, sono state create numerose startup per colmare un vuoto di verifica degli algoritmi e valutazione del rischio.
Una terza parte di cui si fida il pubblico e la potenziale clientela potrebbe aumentare la fiducia nei sistemi di intelligenza artificiale in generale. Come hanno sostenuto le startup AI nel settore dell'aviazione e della guida autonoma, la regolamentazione potrebbe consentire l'innovazione e aiutare le aziende, i governi e gli individui ad adottare l'IA in sicurezza.
Negli ultimi anni, abbiamo visto proposte di numerose leggi che supportano gli audit degli algoritmi da parte di una società esterna e l'anno scorso dozzine di membri influenti della comunità di intelligenza artificiale provenienti dal mondo accademico, dall'industria e dalla società civile hanno raccomandato gli audit degli algoritmi esterni come un modo per mettere i principi dell'IA in azione.
Come le società di consulenza che aiutano le aziende a scalare le distribuzioni di intelligenza artificiale, offrire servizi di monitoraggio dei dati e ordinare i dati non strutturati, le startup di audit degli algoritmi occupano una nicchia nel settore in crescita dell'IA. Ma gli eventi recenti che circondano HireVue sembrano illustrare come queste aziende differiscono da altre startup di intelligenza artificiale.
HireVue è attualmente utilizzato da oltre 700 aziende, tra cui Delta, Hilton e Unilever, per la valutazione predefinita e personalizzata dei candidati a un lavoro sulla base di un curriculum, di un colloquio video o delle loro prestazioni durante la riproduzione di giochi psicometrici.
Due settimane fa, HireVue ha annunciato che non avrebbe più utilizzato l'analisi facciale per determinare se una persona è adatta per un lavoro. Potresti chiederti: in che modo il riconoscimento delle caratteristiche sul volto di una persona è mai stato considerato un modo scientificamente verificabile per concludere che è qualificato per un lavoro? Bene, HireVue non ha mai veramente dimostrato quei risultati, ma l'affermazione ha sollevato molte domande.
Un dirigente di HireVue ha affermato nel 2019 che dal 10% al 30% dei punteggi di competenza potrebbe essere legato all'analisi facciale. Ma i rapporti in quel momento definivano l'affermazione dell'azienda "profondamente inquietante". Prima che la società con sede nello Utah decidesse di abbandonare l'analisi facciale, il leader etico Suresh Venkatasubramanian si è dimesso da un comitato consultivo di HireVue. E l'Electronic Privacy Information Center ha presentato un reclamo alla Federal Trade Commission (FTC) sostenendo che HireVue si fosse impegnata in pratiche commerciali sleali e ingannevoli in violazione della legge FTC. La denuncia cita specificamente studi che hanno scoperto che i sistemi di riconoscimento facciale possono identificare le emozioni in modo diverso in base alla razza di una persona. La denuncia ha anche indicato una storia documentata di sistemi di riconoscimento facciale che identificano erroneamente le donne con la pelle scura, le persone che non si conformano a un'identità di genere binaria e gli americani asiatici.
L'analisi facciale potrebbe non identificare gli individui, come farebbe la tecnologia di riconoscimento facciale, ma come afferma Partnership sull'intelligenza artificiale, l'analisi facciale può classificare caratteristiche con "implicazioni culturali, sociali e politiche più complesse", come età, razza o sesso.
Nonostante queste preoccupazioni, in un comunicato stampa che annuncia i risultati del proprio audit, HireVue afferma: "L'audit ha concluso che '[HireVue] le valutazioni funzionano come pubblicizzato per quanto riguarda le questioni di equità e bias. '"L'audit è stato condotto da O’Neil Risk Consulting and Algorithmic Auditing (ORCAA), che è stato creato dalla scienziata dei dati Cathy O’Neil. O'Neil è anche autore del libro Weapons of Math Destruction, che dà uno sguardo critico all'impatto degli algoritmi sulla società.
Il rapporto di audit non contiene analisi dei dati o del codice di addestramento del sistema di intelligenza artificiale, ma piuttosto conversazioni sui tipi di danni che l'intelligenza artificiale di HireVue potrebbe causare nella conduzione di valutazioni precostituite di candidati all'inizio della carriera attraverso otto misurazioni di competenza.
L'audit ORCAA ha posto domande ai team interni all'azienda e alle parti interessate esterne, comprese le persone a cui è stato chiesto di fare un test utilizzando il software HireVue e le aziende che pagano i servizi dell'azienda.
Dopo aver firmato un accordo legale, puoi leggere tu stesso il documento di controllo di otto pagine. Afferma che nel momento in cui l'ORCAA ha condotto l'audit, HireVue aveva già deciso di iniziare a eliminare gradualmente l'analisi facciale.
L'audit trasmette anche la preoccupazione tra le parti interessate che l'analisi visiva metta le persone generalmente a disagio. E un partecipante all'intervista con le parti interessate ha espresso la preoccupazione che l'analisi facciale di HireVue possa funzionare in modo diverso per le persone che indossano coperture per la testa o il viso e contrassegna in modo sproporzionato la loro domanda di revisione umana. Lo scorso autunno, VentureBeat ha riferito che le persone con la pelle scura che hanno sostenuto l'esame di stato con un software di monitoraggio remoto hanno espresso preoccupazioni simili.
Il lavoro del collega della Brookings Institution, Alex Engler, si concentra su questioni di governance dell'IA. In un editoriale di Fast Company di questa settimana, Engler ha scritto di ritenere che HireVue abbia interpretato in modo errato i risultati dell'audit per impegnarsi in una forma di lavaggio etico e ha descritto la società come più interessata alla "stampa favorevole che alla legittima introspezione". Ha anche definito le startup di audit degli algoritmi un "settore fiorente ma travagliato" e ha chiesto una supervisione o regolamentazione governativa per mantenere gli audit onesti.
Il CEO di HireVue Kevin Parker ha dichiarato a VentureBeat che la società ha iniziato a eliminare gradualmente l'uso dell'analisi facciale circa un anno fa. Ha detto che HireVue è arrivato a quella decisione dopo la copertura di notizie negative e una valutazione interna che ha concluso "il vantaggio di includerlo non era sufficiente a giustificare la preoccupazione che stava causando".
Alex Engle ha ragione: società di audit algoritmico come la mia rischiano di corrompersi.
Abbiamo bisogno di più leva per fare le cose nel modo giusto, con metodologie e risultati aperti.
Dove otterremmo tale leva? Cause legali, applicazione delle normative o entrambi. Http://t.co/2zkgFs4YEo
– Cathy O'Neil (@mathbabedotorg) 26 gennaio 2021
Parker contesta l'affermazione di Engler secondo cui HireVue ha interpretato in modo errato i risultati dell'audit e si è detto orgoglioso del risultato. Ma una cosa su cui Engler, HireVue e ORCAA concordano è la necessità di cambiamenti a livello di settore.
"Avere uno standard che dica 'Ecco cosa intendiamo quando diciamo audit algoritmico' e cosa copre e cosa dice l'intento sarebbe molto utile, e siamo ansiosi di partecipare a questo e vedere quegli standard venire fuori. Che si tratti di regolamentazione o di settore, penso che sarà tutto utile ", ha detto Parker.
Quindi che tipo di regolamentazione governativa, standard di settore o politica aziendale interna è necessaria affinché le startup di audit degli algoritmi abbiano successo? E come possono mantenere l'indipendenza ed evitare di essere cooptati come alcune ricerche sull'etica dell'IA e la diversità nelle iniziative tecnologiche hanno fatto negli ultimi anni?
Per scoprirlo, VentureBeat ha parlato con rappresentanti di bnh.ai, Parity e ORCAA, startup che offrono audit degli algoritmi a clienti aziendali e governativi.
Contents
Richiedi alle aziende di eseguire audit degli algoritmi
Una soluzione approvata dalle persone che lavorano in ciascuna delle tre società è stata quella di emanare normative che richiedessero audit degli algoritmi, in particolare per gli algoritmi che informano le decisioni che hanno un impatto significativo sulla vita delle persone.
"Penso che la risposta finale sia la regolamentazione federale, e l'abbiamo visto nel settore bancario", ha detto Patrick Hall, chief scientist di bnh.ai e professore in visita alla George Washington University. La guida SR-11 della Federal Reserve sulla gestione del rischio di modello attualmente impone audit di modelli statistici e di apprendimento automatico, che Hall vede come un passo nella giusta direzione. L'Istituto nazionale per gli standard e la tecnologia (NIST) testa i sistemi di riconoscimento facciale addestrati da aziende private, ma questo è un processo volontario.
Jacob Appel, chief strategist di ORCAA, ha affermato che un audit di algoritmo è attualmente definito come ciò che offre un auditor di algoritmo selezionato. Suggerisce che le aziende siano tenute a divulgare i rapporti di audit degli algoritmi nello stesso modo in cui le aziende quotate in borsa sono obbligate a condividere i bilanci. È lodevole che le imprese intraprendano una verifica rigorosa quando non vi è alcun obbligo legale di farlo, ma Appel ha affermato che questa pratica volontaria riflette una mancanza di supervisione nell'attuale contesto normativo.
"Se ci sono reclami o critiche su come sono stati rilasciati i risultati dell'audit di HireVue, penso che sia utile vedere la connessione con la mancanza di standard legali e requisiti normativi come contributo a tali risultati", ha affermato. "Questi primi esempi possono aiutare a evidenziare o sottolineare la necessità di un ambiente in cui vi siano requisiti legali e normativi che diano un po 'più di slancio ai revisori."
Ci sono segnali crescenti che gli audit degli algoritmi esterni possano diventare uno standard. I legislatori in alcune parti degli Stati Uniti hanno proposto una legislazione che creerebbe effettivamente mercati per le startup di audit degli algoritmi. A New York City, i legislatori hanno proposto di imporre un test annuale per l'assunzione di software che utilizza l'IA. Lo scorso autunno, gli elettori della California hanno respinto la proposta 25, che avrebbe richiesto alle contee di sostituire i sistemi di cauzione in contanti con una valutazione algoritmica. Il relativo disegno di legge del Senato 36 richiede una revisione esterna degli algoritmi di valutazione del rischio prima del processo da parte di una terza parte indipendente. Nel 2019, i legislatori federali hanno introdotto l'Atto sulla responsabilità algoritmica per richiedere alle aziende di sondare e correggere algoritmi che si traducono in un trattamento discriminatorio o iniquo.
Tuttavia, qualsiasi requisito normativo dovrà considerare come misurare l'equità e l'influenza dell'IA fornita da una terza parte poiché pochi sistemi di IA sono costruiti interamente internamente.
Rumman Chowdhury è CEO di Parity, una società che ha creato pochi mesi fa dopo aver lasciato la sua posizione di leader globale per l'IA responsabile in Accenture. Ritiene che tale regolamentazione dovrebbe tenere in considerazione il fatto che i casi d'uso possono variare notevolmente da un settore all'altro. Crede inoltre che la legislazione dovrebbe affrontare i reclami sulla proprietà intellettuale da parte di startup di intelligenza artificiale che non vogliono condividere dati o codici di formazione, una preoccupazione che tali startup spesso sollevano in procedimenti legali.
"Penso che la sfida qui sia bilanciare la trasparenza con la necessità molto reale e tangibile per le aziende di proteggere la propria proprietà intellettuale e ciò che stanno costruendo", ha affermato. "Non è corretto dire che le aziende dovrebbero condividere tutti i loro dati e i loro modelli perché hanno IP che stanno costruendo e potresti controllare una startup".
Mantieni l'indipendenza e accresci la fiducia del pubblico
Per evitare di cooptare lo spazio di avvio dell'audit dell'algoritmo, Chowdhury ha affermato che sarà essenziale stabilire standard professionali comuni attraverso gruppi come l'IEEE o il regolamento governativo. Qualsiasi applicazione o standard potrebbe anche includere un mandato del governo che gli auditor ricevano una qualche forma di formazione o certificazione, ha affermato.
Appel ha suggerito che un altro modo per migliorare l'affidabilità del pubblico e ampliare la comunità di parti interessate influenzate dalla tecnologia è imporre un periodo di commento pubblico per gli algoritmi. Tali periodi sono comunemente invocati prima della legge o delle proposte politiche o degli sforzi civici come i progetti di costruzione proposti.
Altri governi hanno iniziato ad attuare misure per aumentare la fiducia del pubblico negli algoritmi. Le città di Amsterdam e Helsinki hanno creato registri di algoritmi alla fine del 2020 per fornire ai residenti locali il nome della persona e del dipartimento cittadino incaricato di implementare un particolare algoritmo e fornire feedback.
Definire audit e algoritmi
Un modello di linguaggio con miliardi di parametri è diverso da un più semplice sistema decisionale algoritmico realizzato senza un modello qualitativo. Le definizioni di algoritmi possono essere necessarie per definire cosa dovrebbe contenere un audit, oltre ad aiutare le aziende a capire cosa dovrebbe realizzare un audit.
"Penso che la regolamentazione e gli standard debbano essere abbastanza chiari su cosa ci si aspetta da un audit, cosa dovrebbe realizzare in modo che le aziende possano dire 'Questo è ciò che un audit non può fare e questo è ciò che può fare.' Aiuta a gestire le aspettative credo ", ha detto Chowdhury.
Un cambiamento culturale per gli esseri umani che lavorano con le macchine
Il mese scorso, un gruppo di ricercatori di intelligenza artificiale ha chiesto un cambiamento culturale nella visione artificiale e nelle comunità di PNL. Un documento pubblicato considera le implicazioni di un cambiamento culturale per i data scientist all'interno delle aziende. I suggerimenti dei ricercatori includono miglioramenti nelle pratiche di documentazione dei dati e audit trail attraverso documentazione, procedure e processi.
Chowdhury ha anche suggerito che le persone nel settore dell'IA cercano di imparare dai problemi strutturali che altri settori hanno già affrontato.
Esempi di ciò includono il database degli incidenti AI lanciato di recente, che prende in prestito un approccio utilizzato nel settore dell'aviazione e della sicurezza informatica. Creato dalla Partnership on AI, il database è uno sforzo collaborativo per documentare le istanze in cui i sistemi AI falliscono. Altri hanno suggerito che l'industria dell'IA incentivi a trovare pregiudizi nelle reti come fa l'industria della sicurezza con i bug bounty.
"Penso che sia davvero interessante esaminare cose come i bug bounties e i database di segnalazione degli incidenti perché consente alle aziende di essere molto pubbliche sui difetti nei loro sistemi in un modo in cui stiamo tutti lavorando per risolverli invece di puntare il dito contro di loro perché è stato sbagliato ", ha detto. "Penso che il modo per avere successo sia un audit che non può avvenire dopo il fatto – dovrebbe accadere prima che qualcosa venga rilasciato."
Non considerare un audit una panacea
Come mostra l'audit ORCAA di un caso d'uso di HireVue, la divulgazione di un audit può essere limitata e non garantisce necessariamente che i sistemi di intelligenza artificiale siano privi di pregiudizi.
Chowdhury ha affermato che una disconnessione che incontra comunemente con i clienti è un'aspettativa che un audit considererà solo il codice o l'analisi dei dati. Ha affermato che gli audit possono anche concentrarsi su casi d'uso specifici, come la raccolta di input da comunità emarginate, la gestione del rischio o l'esame critico della cultura aziendale.
“Penso che ci sia un'idea idealistica di ciò che un audit sta per realizzare. Un audit è solo un rapporto. Non risolverà tutto e non identificherà nemmeno tutti i problemi ", ha detto.
L'amministratore delegato di Bnh.ai, Andrew Burt, ha affermato che i clienti tendono a considerare gli audit come una panacea piuttosto che come parte di un processo continuo per monitorare le prestazioni degli algoritmi nella pratica.
"Gli audit una tantum sono utili, ma solo fino a un certo punto, a causa del modo in cui l'IA viene implementata nella pratica. I dati sottostanti cambiano, i modelli stessi possono cambiare e gli stessi modelli vengono spesso utilizzati per scopi secondari, che richiedono tutti una revisione periodica ", ha affermato Burt.
Considera il rischio oltre ciò che è legale
Gli audit per garantire la conformità alle normative governative potrebbero non essere sufficienti per rilevare rischi potenzialmente costosi. Un audit potrebbe tenere un'azienda fuori dal tribunale, ma non è sempre la stessa cosa che stare al passo con l'evoluzione degli standard etici o gestire il rischio che azioni non etiche o irresponsabili rappresentano per i profitti di un'azienda.
"Penso che dovrebbe esserci qualche aspetto dell'audit algoritmico che non riguarda solo la conformità, ma riguarda un uso etico e responsabile, che tra l'altro è un aspetto della gestione del rischio, come il rischio reputazionale è una considerazione. Puoi assolutamente fare qualcosa di legale che tutti pensano sia terribile ", ha detto Chowdhury. "C'è un aspetto dell'audit algoritmico che dovrebbe includere qual è l'impatto sulla società in relazione all'impatto reputazionale sulla tua azienda e che in realtà non ha nulla a che fare con la legge. In realtà è cos'altro al di là della legge? "
Pensieri finali
Nell'ambiente odierno delle startup di auditing di algoritmi, Chowdhury ha affermato di preoccuparsi che le aziende abbastanza esperte da comprendere le implicazioni politiche dell'inazione possano tentare di cooptare il processo di auditing e rubare la narrativa. È anche preoccupata per il fatto che le startup sottoposte a pressioni per aumentare le entrate possano co-firmare controlli meno robusti.
"Per quanto mi piacerebbe credere che tutti siano un bravo attore, non tutti sono un bravo attore, e c'è sicuramente da fare una presa in giro essenzialmente offrendo un lavaggio etico alle aziende con il pretesto dell'auditing algoritmico", ha detto. "Poiché è un po 'un territorio del selvaggio West quando si tratta di cosa significa fare un audit, è un gioco di chiunque. E sfortunatamente, quando è il gioco di chiunque e l'altro attore non è incentivato a recitare secondo gli standard più elevati, scendiamo al denominatore più basso, la mia paura. "
I principali funzionari dell'amministrazione Biden della FTC, del Dipartimento di giustizia e dell'Office of Science and Technology della Casa Bianca hanno tutti segnalato piani per aumentare la regolamentazione dell'IA e un Congresso Democratico potrebbe affrontare una serie di questioni di politica tecnologica. Anche i quadri di audit interno e le valutazioni dei rischi sono opzioni. L'OCSE e Data & Society stanno attualmente sviluppando strumenti di classificazione della valutazione del rischio che le aziende possono utilizzare per identificare se un algoritmo debba essere considerato ad alto o basso rischio.
Ma le startup di audit degli algoritmi sono diverse dalle altre startup AI in quanto devono chiedere l'approvazione di un arbitro indipendente e, in una certa misura, del pubblico in generale. Per garantire il loro successo, le persone dietro le startup di audit degli algoritmi, come quelle con cui ho parlato, suggeriscono sempre più normative e standard più forti a livello di settore.
VentureBeat
La missione di VentureBeat è quella di essere una piazza della città digitale per i responsabili delle decisioni tecniche per acquisire conoscenze sulla tecnologia trasformativa e sulle transazioni.
Il nostro sito fornisce informazioni essenziali sulle tecnologie e strategie dei dati per guidarti mentre guidi le tue organizzazioni. Ti invitiamo a diventare un membro della nostra community, per accedere a:
- informazioni aggiornate sugli argomenti di tuo interesse
- le nostre newsletter
- contenuti gated leader di pensiero e accesso scontato ai nostri eventi preziosi, come Transform
- funzionalità di rete e altro ancora
Diventare membro
