Come un proiettore da 300 dollari può ingannare il pilota automatico di Tesla

Ingrandisci / Questa immagine, presa dall’interno di una Tesla Model X, mostra un’immagine proiettata di un’auto davanti alla Model X. Il riquadro in basso a destra, creato da Nassi dai registri della Model X, mostra la Model X che rileva la proiezione come una vera macchina.

Ben Nassi

Sei mesi fa, Ben Nassi, uno studente di dottorato presso la Ben-Gurion University consigliato dal professor Yuval Elovici, ha portato a termine con successo una serie di attacchi di spoofing contro un sistema di assistenza alla guida Mobileye 630 Pro utilizzando droni economici e proiettori alimentati a batteria. Da allora, ha ampliato la tecnica per sperimentare, anche con successo, la confusione di una Tesla Model X e presenterà le sue scoperte alla conferenza Cybertech Israel a Tel Aviv.

Gli attacchi di spoofing si basano in gran parte sulla differenza tra riconoscimento delle immagini umano e AI. Per la maggior parte, le immagini che Nassi e il suo team hanno proiettato per trollare la Tesla non avrebbero ingannato un tipico guidatore umano, infatti, alcuni degli attacchi di spoofing erano quasi steganografici, basandosi sulle differenze di percezione non solo per fare in modo che i tentativi di spoofing avessero successo, ma anche per nasconderli agli osservatori umani.

• Questo è un fotogramma di un annuncio che potresti vedere su un cartellone pubblicitario digitale, con un falso segnale di limite di velocità inserito. È presente solo per un ottavo di secondo e la maggior parte dei conducenti lo mancherebbe, ma il riconoscimento delle immagini AI lo riconosce.

• Gli esseri umani non si innamorerebbero di un falso segnale stradale proiettato sulle foglie degli alberi. Ma il riconoscimento delle immagini AI generalmente lo farà.

• Gli esseri umani noteranno sicuramente questi indicatori di corsia proiettati, ma è improbabile che li onorino. L’autopilota in una Tesla Model X li ha considerati legittimi e ha sterzato per seguirli.

Nassi ha creato un video che delinea ciò che vede come il pericolo di questi attacchi di spoofing, che ha chiamato “Fantasma dell’ADAS”, e un piccolo sito Web che offre il video, un abstract che delinea il suo lavoro e il documento di riferimento completo stesso. Non siamo necessariamente d’accordo con l’interpretazione che Nassi dà al suo lavoro: per la maggior parte, ci sembra che la Tesla risponda abbastanza ragionevolmente e bene a questi tentativi deliberati di confondere i suoi sensori. Riteniamo tuttavia che questo tipo di lavoro sia importante, in quanto dimostra la necessità di una progettazione difensiva dei sistemi di guida semi-autonoma.

Annuncio pubblicitario

Lo spoofing della Model X da parte di Nassi e del suo team è stato effettuato con un assistente umano che reggeva un proiettore, a causa delle leggi sui droni nel paese in cui sono stati condotti gli esperimenti. Ma lo spoofing potrebbe anche essere stato effettuato da un drone, come lo erano i suoi precedenti attacchi di spoofing a un sistema di assistenza alla guida Mobileye.

Dal punto di vista della sicurezza, l’aspetto interessante qui è che l’attaccante non deve mai essere sulla scena dell’attacco e non ha bisogno di lasciare alcuna prova dietro, e l’attaccante non ha bisogno di molta esperienza tecnica. Un adolescente con un drone da $ 400 e un proiettore a batteria potrebbe ragionevolmente farcela senza più know-how di “ehi, sarebbe divertente trollare le macchine in autostrada, giusto?” L’attrezzatura non deve essere costosa o sofisticata: il team di Nassi ha utilizzato con successo diversi proiettori da $ 200- $ 300, uno dei quali è stato valutato solo per una risoluzione di 854×480 e 100 lumen.

Questo è il video completo di “Il fantasma dell’ADAS”. L’effetto degli indicatori di corsia proiettati su una Model X in modalità pilota automatico, alle 2:02, è particolarmente interessante.

Ovviamente, nessuno dovrebbe lasciare che una Tesla guidi da sola senza supervisione: il pilota automatico è un sistema di assistenza alla guida di livello 2, non il controller per un veicolo completamente autonomo. Sebbene Tesla non abbia risposto alle richieste di commento sul disco, la cartella stampa dell’azienda descrive Autopilot in modo molto chiaro (sottolineatura nostra):

L’autopilota è destinato all’uso solo con un guidatore completamente attento che ha le mani sul volante ed è pronto a prendere il controllo in qualsiasi momento. Sebbene Autopilot sia progettato per diventare più capace nel tempo, nella sua forma attuale non è un sistema a guida autonoma, non trasforma una Tesla in un veicolo autonomo e non consente al conducente di abdicare alla responsabilità. Se utilizzato correttamente, l’Autopilot riduce il carico di lavoro complessivo del conducente e la ridondanza di otto telecamere esterne, radar e 12 sensori a ultrasuoni fornisce un ulteriore livello di sicurezza che due occhi da soli non avrebbero.

Anche il nome stesso “Pilota automatico” non è così inappropriato come molti pensano, almeno non se si comprende la realtà dei moderni sistemi di pilota automatico dell’aviazione e del mare in primo luogo. Wikipedia fa riferimento all’Advanced Avionics Handbook della FAA quando definisce gli autopiloti come “sistemi che non sostituiscono gli operatori umani, [but] invece aiutarli a controllare il veicolo.” Nella prima pagina del capitolo sul controllo di volo automatizzato dell’Advanced Avionics Handbook, si afferma: “Oltre a imparare come usare l’autopilota, devi anche imparare quando usarlo e quando no usalo.”

Annuncio pubblicitario

All’interno di questi vincoli, anche la peggiore delle risposte dimostrate nel video di Nassi, quella della Model X che sterza per seguire i falsi indicatori di corsia sulla strada, non sembra così male. In effetti, quella clip mostra esattamente cosa dovrebbe accadere: il proprietario della Model X, preoccupato per cosa diavolo potrebbe fare la sua auto costosa, ha premuto i freni e ha preso il controllo manualmente dopo che l’Autopilot è andato in una direzione pericolosa.

Il problema è che ci sono buone ragioni per credere che troppi conducenti non credano di aver davvero bisogno di prestare attenzione. Un sondaggio del 2019 ha dimostrato che quasi la metà dei conducenti intervistati ritiene che sia sicuro togliere le mani dal volante mentre il pilota automatico è attivo, e il sei percento ha persino pensato che fosse OK fare un pisolino. Più recentemente, il senatore Edward Markey (D-Mass.) ha chiesto a Tesla di migliorare la chiarezza del suo marketing e della sua documentazione, e il candidato presidenziale democratico Andrew Yang è andato a mani libere in un annuncio della campagna, proprio come ha fatto Elon Musk prima di lui, in un segmento di 60 minuti del 2018.

Potrebbe essere giunto il momento di considerare specificamente la legislazione sui droni e sui proiettori, più o meno allo stesso modo in cui i puntatori laser sono stati regolamentati dopo essere diventati popolari ed economici. Alcune delle tecniche utilizzate negli attacchi di spoofing effettuati qui potrebbero anche confondere i conducenti umani. E sebbene i conducenti umani siano almeno teoricamente disponibili, vigili e pronti a prendere il posto di qualsiasi sistema di intelligenza artificiale confuso oggi, non sarà così per sempre. Sarebbe una buona idea iniziare a lavorare sui regolamenti che vietano lo spoofing dei sensori dei veicoli prima che non ci siano più esseri umani a sostenerli.

Immagine dell’elenco di David Butow | Immagini Getty