Da un grande ML derivano grandi responsabilità: 5 domande chiave sullo sviluppo del modello

467

Non sei riuscito a partecipare a Transform 2022? Dai un’occhiata a tutte le sessioni del vertice nella nostra libreria on-demand ora! Guarda qui.

La rapida crescita delle capacità di machine learning (ML) ha portato a un’esplosione nel suo utilizzo. I modelli di elaborazione del linguaggio naturale e di visione artificiale che sembravano inverosimili dieci anni fa sono ora comunemente usati in più settori. Possiamo creare modelli che generano immagini complesse di alta qualità da prompt mai visti prima, fornire risposte testuali coerenti con un semplice seme iniziale o persino condurre conversazioni completamente coerenti. Ed è probabile che stiamo solo grattando la superficie.

Tuttavia, man mano che questi modelli crescono in capacità e il loro uso si diffonde, dobbiamo essere consapevoli delle loro conseguenze indesiderate e potenzialmente dannose. Ad esempio, un modello che prevede l’affidabilità creditizia deve garantire che non discrimini determinati dati demografici. Né un motore di ricerca basato su ML dovrebbe restituire solo risultati di immagini di un singolo gruppo demografico quando cerca le immagini di leader e CEO.

Il Responsible ML è una serie di pratiche per evitare queste insidie ​​e garantire che i sistemi basati su ML mantengano il loro intento mitigando le conseguenze indesiderate o dannose. Fondamentalmente, l’IA responsabile richiede riflessione e vigilanza durante tutto il processo di sviluppo del modello per garantire il raggiungimento del risultato giusto.

Per iniziare, abbiamo elencato una serie di domande chiave da porsi durante il processo di sviluppo del modello. Pensare a questi suggerimenti e affrontare le preoccupazioni che ne derivano è fondamentale per costruire un’IA responsabile.

Contents

1. Il sistema ML scelto è quello più adatto a questo compito?

Sebbene ci sia la tentazione di scegliere la soluzione automatizzata end-to-end più potente, a volte potrebbe non essere la soluzione giusta per l’attività. Ci sono compromessi che devono essere considerati. Ad esempio, mentre i modelli di deep learning con un numero enorme di parametri hanno un’elevata capacità di apprendere attività complesse, sono molto più difficili da spiegare e comprendere rispetto a un semplice modello lineare in cui è più facile mappare l’impatto degli input sugli output. Pertanto, quando si misura la distorsione del modello o quando si lavora per rendere un modello più trasparente per gli utenti, un modello lineare può essere un’ottima soluzione se ha una capacità sufficiente per il tuo compito a portata di mano.

Inoltre, nel caso in cui il tuo modello abbia un certo livello di incertezza nei suoi output, sarà probabilmente meglio mantenere un essere umano nel ciclo piuttosto che passare all’automazione completa. In questa struttura, invece di produrre un singolo output/previsione, il modello produrrà un risultato meno binario (ad esempio opzioni multiple o punteggi di confidenza) e quindi rinvia a un essere umano per effettuare la chiamata finale. Ciò protegge da risultati anomali o imprevedibili, che possono essere importanti per attività delicate (ad es. diagnosi del paziente).

2. Sto raccogliendo dati rappresentativi (e li sto raccogliendo in modo responsabile)?

Per mitigare le situazioni in cui il tuo modello tratta ingiustamente determinati gruppi demografici, è importante iniziare con dati di addestramento privi di pregiudizi. Ad esempio, un modello addestrato per migliorare la qualità dell’immagine dovrebbe utilizzare un set di dati di addestramento che rifletta gli utenti di tutte le tonalità della pelle per garantire che funzioni correttamente su tutta la base di utenti. L’analisi del set di dati grezzi può essere un modo utile per trovare e correggere questi pregiudizi nella fase iniziale.

Al di là dei dati stessi, conta anche la sua fonte. I dati utilizzati per l’addestramento del modello devono essere raccolti con il consenso dell’utente, in modo che gli utenti comprendano che le loro informazioni vengono raccolte e come vengono utilizzate. Anche l’etichettatura dei dati dovrebbe essere completata in modo etico. Spesso i set di dati sono etichettati da valutatori manuali a cui vengono pagati importi marginali, quindi i dati vengono utilizzati per addestrare un modello che genera un profitto significativo rispetto a ciò che i valutatori sono stati pagati in primo luogo. Pratiche responsabili garantiscono un salario più equo per i valutatori.

3. Capisco (e i miei utenti) come funziona il sistema ML?

Con sistemi ML complessi contenenti milioni di parametri, diventa molto più difficile capire come un particolare input si associa agli output del modello. Ciò aumenta la probabilità di comportamenti imprevedibili e potenzialmente dannosi.
La mitigazione ideale è scegliere il modello più semplice possibile che riesca a raggiungere il compito. Se il modello è ancora complesso, è importante eseguire un solido set di test di sensibilità per prepararsi a contesti imprevisti sul campo. Quindi, per garantire che i tuoi utenti comprendano effettivamente le implicazioni del sistema che stanno utilizzando, è fondamentale implementare un’IA spiegabile per illustrare come vengono generate le previsioni del modello in un modo che non richiede competenze tecniche. Se una spiegazione non è fattibile (ad es. rivela segreti commerciali), offri altri percorsi per il feedback in modo che gli utenti possano almeno contestare o avere input nelle decisioni future se non sono d’accordo con i risultati.

4. Ho testato adeguatamente il mio modello?

Per garantire che il tuo modello funzioni come previsto, non c’è alcun sostituto per il test. Per quanto riguarda le questioni di equità, il fattore chiave da testare è se il tuo modello funziona bene in tutti i gruppi all’interno della tua base di utenti, assicurando che non vi siano ingiustizie intersezionali negli output del modello. Ciò significa raccogliere (e tenersi aggiornati) un set di test gold standard che riflette accuratamente la tua base, e fare regolarmente ricerche e ottenere feedback da tutti i tipi di utenti.

5. Ho il giusto monitoraggio in produzione?

Lo sviluppo del modello non termina con la distribuzione. I modelli ML richiedono il monitoraggio continuo del modello e la riqualificazione durante l’intero ciclo di vita. Ciò protegge da rischi come la deriva dei dati, in cui la distribuzione dei dati in produzione inizia a differire dal set di dati su cui il modello è stato inizialmente addestrato, causando previsioni impreviste e potenzialmente dannose. Una procedura consigliata consiste nell’utilizzare una piattaforma di gestione delle prestazioni del modello per impostare avvisi automatici sulle prestazioni del modello in produzione, aiutandoti a rispondere in modo proattivo al primo segno di deviazione ed eseguire l’analisi della causa principale per comprendere il driver della deriva del modello. Fondamentalmente, il tuo monitoraggio deve segmentare diversi gruppi all’interno della tua base di utenti per garantire che le prestazioni siano mantenute su tutti gli utenti.

Ponendoti queste domande, puoi incorporare meglio le pratiche di intelligenza artificiale responsabili nel tuo ciclo di vita MLOps. L’apprendimento automatico è ancora nelle sue fasi iniziali, quindi è importante continuare a cercare e imparare di più; gli elementi qui elencati sono solo un punto di partenza sul tuo percorso verso un’IA responsabile.

Krishnaram Kenthapadi è il capo scienziato di Fiddler AI.

DataDecisionMakers

Benvenuto nella comunità VentureBeat!

DataDecisionMakers è il luogo in cui gli esperti, compresi i tecnici che lavorano sui dati, possono condividere approfondimenti e innovazioni relative ai dati.

Se vuoi leggere idee all’avanguardia e informazioni aggiornate, best practice e il futuro dei dati e della tecnologia dei dati, unisciti a noi su DataDecisionMakers.

Potresti anche considerare di contribuire con un tuo articolo!

Leggi di più da DataDecisionMakers