MLCommons rilascia nuovi benchmark per aumentare le prestazioni di ML

50

Non sei riuscito a partecipare a Transform 2022? Dai un’occhiata a tutte le sessioni del vertice nella nostra libreria on-demand ora! Guarda qui.

Comprendere le caratteristiche delle prestazioni di hardware e software diversi per l’apprendimento automatico (ML) è fondamentale per le organizzazioni che desiderano ottimizzare le proprie distribuzioni.

Uno dei modi per comprendere le capacità dell’hardware e del software per il ML consiste nell’utilizzare i benchmark di MLCommons, un’organizzazione multi-stakeholder che crea diversi benchmark delle prestazioni per aiutare a far progredire lo stato della tecnologia ML.

Il regime di test MLCommons MLPerf prevede una serie di aree diverse in cui vengono condotti i benchmark durante tutto l’anno. All’inizio di luglio, MLCommons ha rilasciato benchmark sui dati di addestramento ML e oggi rilascia la sua ultima serie di benchmark MLPerf per l’inferenza ML. Con l’addestramento, un modello impara dai dati, mentre l’inferenza riguarda il modo in cui un modello “deduce” o fornisce un risultato da nuovi dati, come un modello di visione artificiale che utilizza l’inferenza per il riconoscimento delle immagini.

I benchmark provengono dall’aggiornamento MLPerf Inference v2.1, che introduce nuovi modelli, tra cui SSD-ResNeXt50 per la visione artificiale e una nuova divisione di test per l’inferenza sulla rete per espandere la suite di test per replicare meglio gli scenari del mondo reale.

Evento

MetaBeat 2022

MetaBeat riunirà leader di pensiero per fornire indicazioni su come la tecnologia metaverse trasformerà il modo in cui tutti i settori comunicano e fanno affari il 4 ottobre a San Francisco, in California.

Registrati qui

“MLCommons è una comunità globale e il nostro interesse è davvero quello di abilitare il ML per tutti”, ha affermato Vijay Janapa Reddi, vicepresidente di MLCommons durante una conferenza stampa. “Ciò significa in realtà riunire tutti gli attori hardware e software nell’ecosistema attorno all’apprendimento automatico in modo che possiamo provare a parlare la stessa lingua”.

Ha aggiunto che parlare la stessa lingua significa disporre di modalità standardizzate per rivendicare e riportare le metriche di performance del riciclaggio.

Come MLPerf misura i benchmark di inferenza ML

Reddi ha sottolineato che il benchmarking è un’attività impegnativa nell’inferenza di ML, poiché esistono numerose variabili diverse che cambiano costantemente. Ha notato che l’obiettivo di MLCommons è misurare le prestazioni in modo standardizzato per monitorare i progressi.

L’inferenza copre molte aree considerate nella suite MLPerf 2.1, inclusi consigli, riconoscimento vocale, classificazione delle immagini e capacità di rilevamento degli oggetti. Reddi ha spiegato che MLCommons estrae dati pubblici, quindi dispone di un modello di rete ML addestrato per il quale è disponibile il codice. Il gruppo ha quindi determinato un determinato punteggio di qualità target che i presentatori di diverse piattaforme di sistemi hardware devono soddisfare.

“In definitiva, il nostro obiettivo qui è assicurarci che le cose migliorino, quindi se possiamo misurarle, possiamo migliorarle”, ha affermato.

Risultati? MLPerf Inference ne ha migliaia

Il benchmark della suite MLPerf Inference 2.1 non è un elenco per i deboli di cuore o per coloro che hanno paura dei numeri: molti, molti numeri.

In totale il nuovo benchmark ha generato oltre 5.300 risultati, forniti da una lunga lista di mittenti tra cui Alibaba, Asustek, Azure, Biren, Dell, Fujitsu, Gigabyte, H3C, HPE, Inspur, Intel, Krai, Lenovo, Moffett, Nettrix, NeuralMagic, Nvidia, OctoML, Qualcomm, Sapeon e Supermicro.

“È molto emozionante vedere che abbiamo ottenuto oltre 5.300 risultati di prestazioni, oltre a oltre 2.400 risultati di misurazione della potenza”, ha affermato Reddi. “Quindi c’è una grande quantità di dati da guardare.”

Il volume di dati è schiacciante e include sistemi che stanno appena arrivando sul mercato. Ad esempio, tra le numerose richieste di Nvidia ce ne sono molte per l’acceleratore H100 di nuova generazione dell’azienda, annunciato per la prima volta a marzo.

“L’H100 offre accelerazione fenomenale rispetto alle generazioni precedenti e rispetto ad altri concorrenti”, ha commentato Dave Salvator, direttore del marketing di prodotto di Nvidia, durante una conferenza stampa ospitata da Nvidia.

Sebbene Salvator sia fiducioso nelle prestazioni di Nvidia, ha notato che dal suo punto di vista è anche bello vedere nuovi concorrenti apparire negli ultimi benchmark MLPerf Inference 2.1. Tra questi nuovi concorrenti c’è Biren Technology, fornitore cinese di acceleratori di intelligenza artificiale (AI). Salvator ha notato che Biren ha introdotto un nuovo acceleratore che, secondo lui, è stato mostrato per la prima volta “decente” nei benchmark di MLPerf Inference.

“Detto questo, puoi vedere che l’H100 li supera facilmente (Biren) e l’H100 sarà sul mercato qui molto presto prima della fine di quest’anno”, ha detto Salvator.

Dimentica il clamore dell’IA, le aziende dovrebbero concentrarsi su ciò che conta per loro

I numeri di MLPerf Inference, sebbene dettagliati e potenzialmente travolgenti, hanno anche un significato reale che può aiutare a tagliare il clamore dell’IA, secondo Jordan Plawner, direttore senior dei prodotti Intel AI.

“Penso che probabilmente siamo tutti d’accordo sul fatto che c’è stato molto clamore nell’IA”, ha commentato Plawner durante la conferenza stampa di MLCommons. “Penso che la mia esperienza sia che i clienti diffidano molto di PowerPoint nelle affermazioni o nelle affermazioni basate su un modello”.

Plawner ha notato che alcuni modelli sono ottimi per determinati casi d’uso, ma non tutti. Ha affermato che MLPerf aiuta lui e Intel a comunicare con i clienti in modo credibile con un framework comune che esamina più modelli. Sebbene il tentativo di tradurre i problemi del mondo reale in benchmark sia un esercizio imperfetto, MLPerf ha molto valore.

“Questo è il miglior sforzo del settore da dire qui [is] una serie obiettiva di misure da dire almeno è credibile per l’azienda XYZ”, ha affermato Plawner.

La missione di VentureBeat deve essere una piazza cittadina digitale per i decisori tecnici per acquisire conoscenze sulla tecnologia aziendale trasformativa e le transazioni. Scopri i nostri Briefing.