La tecnologia senza cassiere potrebbe rilevare il taccheggio, ma le preoccupazioni sui pregiudizi abbondano

55

Mentre la pandemia continua a imperversare in tutto il mondo, diventa chiaro che il COVID-19 durerà più a lungo di quanto inizialmente previsto da alcuni esperti di salute. A causa in parte del rallentamento dell'implementazione dei vaccini, della rapida diffusione di nuovi ceppi e della retorica politicamente carica di distacco sociale, è probabile che il nuovo coronavirus diventi endemico, rendendo necessari cambiamenti nel modo in cui viviamo le nostre vite.

Alcuni di questi cambiamenti potrebbero verificarsi nei negozi fisici, dove le superfici tattili come i controsoffitti, i contanti, le carte di credito e le borse sono potenziali vettori di diffusione virale. La pandemia sembra aver rinnovato l'interesse per la tecnologia senza cassa come Amazon Go, la catena di negozi di Amazon che consente agli acquirenti di ritirare e acquistare articoli senza interagire con un commesso del negozio. In effetti, Walmart, 7-Eleven e le startup senza cassiere tra cui AiFi, Standard e Grabango hanno ampliato la loro presenza nell'ultimo anno.

Ma quando la tecnologia senza cassa diventa normalizzata, c'è il rischio che possa essere utilizzata per scopi oltre il pagamento, in particolare per il rilevamento di taccheggio. Sebbene il rilevamento dei taccheggio non sia problematico, i casi di studio dimostrano che è suscettibile a pregiudizi e altri difetti che potrebbero, nel peggiore dei casi, provocare falsi positivi.

Set di dati sintetici

La maggior parte delle piattaforme senza cassa si basa su telecamere, tra gli altri sensori, per monitorare i comportamenti individuali dei clienti nei negozi mentre fanno acquisti. Le riprese video delle telecamere alimentano gli algoritmi di classificazione dell'apprendimento automatico, che identificano quando un acquirente prende e inserisce un articolo in un carrello, ad esempio. Durante una sessione alla conferenza re: Mars di Amazon nel 2019, Dilip Kumar, VP di Amazon Go, ha spiegato che gli ingegneri di Amazon utilizzano errori come il rilevamento di articoli persi per addestrare i modelli di apprendimento automatico che alimentano le esperienze senza cassa dei suoi negozi Go. I set di dati sintetici aumentano la diversità dei dati di addestramento e apparentemente la robustezza dei modelli, che utilizzano sia la geometria che l'apprendimento profondo per garantire che le transazioni siano associate al cliente giusto.

Il problema con questo approccio è che i set di dati sintetici, se scarsamente controllati, potrebbero codificare i pregiudizi che i modelli di apprendimento automatico imparano ad amplificare. Nel 2015, un ingegnere del software ha scoperto che gli algoritmi di riconoscimento delle immagini implementati in Google Foto, il servizio di archiviazione di foto di Google, etichettavano i neri come "gorilla". L'API Cloud Vision di Google ha recentemente etichettato erroneamente termometri tenuti da persone con la pelle più scura come pistole. E innumerevoli esperimenti hanno dimostrato che i modelli di classificazione delle immagini addestrati su ImageNet, un set di dati popolare (ma problematico) contenente foto estratte da Internet, apprendono automaticamente pregiudizi simili a quelli umani su razza, sesso, peso e altro.

Jerome Williams, professore e amministratore senior presso il campus di Newark della Rutgers University, ha dichiarato alla NBC che un algoritmo di rilevamento dei furti potrebbe finire per prendere di mira ingiustamente le persone di colore, che vengono regolarmente fermate per sospetto di taccheggio più spesso degli acquirenti bianchi. Uno studio del 2006 sui negozi di giocattoli ha rilevato che non solo le donne bianche della classe media spesso ricevevano un trattamento preferenziale, ma anche che la polizia non veniva mai chiamata, anche quando il loro comportamento era aggressivo. E in un recente sondaggio sugli acquirenti neri pubblicato sul Journal of Consumer Culture, l'80% degli intervistati ha riferito di aver sperimentato stigma razziale e stereotipi durante lo shopping.

"Le persone che vengono scoperte per taccheggio non sono un'indicazione di chi sta rubando", ha detto Williams alla NBC. In altre parole, gli acquirenti neri che ritengono di essere stati esaminati nei negozi potrebbero avere maggiori probabilità di apparire nervosi durante lo shopping, il che potrebbe essere percepito da un sistema come un comportamento sospetto. "È una funzione di chi viene osservato e di chi viene catturato, e si basa su pratiche discriminatorie".

Alcune soluzioni sono progettate esplicitamente per rilevare l'andatura dei binari da taccheggio – modelli di movimenti degli arti – tra le altre caratteristiche fisiche. È una misura potenzialmente problematica considerando che gli acquirenti disabili, tra gli altri, potrebbero avere andature che sembrano sospette a un algoritmo addestrato su filmati di acquirenti normodotati. Come osserva la Divisione per i diritti civili del Dipartimento di giustizia degli Stati Uniti, sezione sui diritti dei disabili, alcune persone con disabilità hanno un discorso vacillante o confuso correlato a disabilità neurologiche, disturbi mentali o emotivi o ipoglicemia, e queste caratteristiche possono essere erroneamente interpretate come intossicazione, tra gli altri stati .

Secondo quanto riferito, il prodotto antifurto Vaak della startup di Tokyo VaakEye è stato addestrato su oltre 100 ore di riprese televisive a circuito chiuso per monitorare le espressioni facciali, i movimenti, i movimenti delle mani, le scelte di abbigliamento e oltre 100 altri aspetti degli acquirenti. AI Guardsman, una collaborazione congiunta tra la società di telecomunicazioni giapponese NTT East e la startup tecnologica Earth Eyes, esegue la scansione di video in diretta alla ricerca di "indizi" come quando un acquirente cerca punti ciechi o controlla nervosamente l'ambiente circostante.

NTT East, per esempio, non afferma che il suo algoritmo sia perfetto. A volte segnala i clienti ben intenzionati che raccolgono e ripongono oggetti e venditori che riforniscono gli scaffali dei negozi, ha detto a The Verge un portavoce dell'azienda. Nonostante ciò, NTT East ha affermato che il suo sistema non può essere discriminatorio perché "non trova individui pre-registrati".

La tecnologia anti-taccheggio di Walmart basata sull'intelligenza artificiale e sulla fotocamera, fornita da Everseen, è stata esaminata lo scorso maggio a causa dei suoi tassi di rilevamento, secondo quanto riferito, scarsi. Nelle interviste con Ars Technica, i lavoratori di Walmart hanno affermato che la loro principale preoccupazione con Everseen erano i falsi positivi al checkout automatico. I dipendenti ritengono che il tecnico spesso interpreti erroneamente un comportamento innocente come potenziale taccheggio.

Pratiche del settore

Trigo, emerso dalla furtività nel luglio 2018, mira a portare esperienze senza cassa nei minimarket esistenti "medio-piccoli". Per un canone di abbonamento mensile, l'azienda fornisce sia telecamere ad alta risoluzione montate a soffitto sia una "unità di elaborazione" in loco che esegue software di tracciamento basato sull'apprendimento automatico. I dati vengono trasmessi dall'unità a un fornitore di elaborazione cloud, dove vengono analizzati e utilizzati per migliorare gli algoritmi di Trigo.

Trigo afferma di rendere anonimi i dati raccolti, di non essere in grado di identificare i singoli acquirenti oltre ai prodotti che hanno acquistato e che il suo sistema è in media accurato al 99,5% nell'identificazione degli acquisti. Ma quando VentureBeat ha chiesto quali specifiche funzionalità di rilevamento anti-taccheggio offre il prodotto e come Trigo addestra algoritmi che potrebbero rilevare il furto, la società ha rifiutato di commentare.

Anche Grabango, una startup tecnologica senza cassa fondata dal cofondatore di Pandora Will Glaser, ha rifiutato di commentare questo articolo. Zippin afferma che richiede agli acquirenti di effettuare il check-in con un metodo di pagamento e che il personale viene avvisato solo quando attori malintenzionati "si intrufolano in qualche modo". E Standard Cognition, che afferma che la sua tecnologia può tenere conto dei cambiamenti come quando un cliente restituisce un articolo che inizialmente pensava di acquistare, afferma che non lo fa e non ha mai offerto funzionalità di rilevamento dei taccheggio ai suoi clienti.

"Standard non monitora il comportamento di taccheggio e non abbiamo mai … Monitoriamo solo ciò che le persone raccolgono o depositano in modo da sapere per cosa addebitarle quando lasciano il negozio. Lo facciamo in modo anonimo, senza dati biometrici ", ha detto il CEO Jordan Fisher a VentureBeat via e-mail. "Un sistema basato sull'intelligenza artificiale addestrato in modo responsabile con diversi set di dati dovrebbe in teoria essere in grado di rilevare i taccheggio senza pregiudizi. Ma Standard non sarà l'azienda che lo farà. Ci concentriamo esclusivamente sugli aspetti privi di pagamento di questa tecnologia. "

Sopra: Cibo Express di OTG è il primo marchio confermato a implementare la tecnologia senza cassa "Just Walk Out" di Amazon.

Tuttavia, interviste separate con The New York Times e Fast Company nel 2018 raccontano una storia diversa. Michael Suswal, cofondatore e chief operating officer di Standard Cognition, ha dichiarato al Times che la piattaforma di Standard potrebbe esaminare la traiettoria, lo sguardo e la velocità di un acquirente per rilevare e avvisare un addetto del negozio in caso di furto tramite messaggio di testo. (Nell'informativa sulla privacy sul suo sito web, Standard afferma di non raccogliere identificatori biometrici ma di raccogliere informazioni su "alcune caratteristiche del corpo".) Ha anche affermato che Standard ha assunto 100 attori per fare acquisti per ore nel suo negozio demo di San Francisco in ordine addestrare i suoi algoritmi a riconoscere il taccheggio e altri comportamenti.

"Impariamo i comportamenti di come ci si sente a lasciare", ha detto Suswal al Times. "Se stanno per rubare, la loro andatura è più grande e stanno guardando la porta."

Un brevetto depositato da Standard nel 2019 sembrerebbe supportare l'idea che Standard abbia sviluppato un sistema per tracciare l'andatura. L'applicazione descrive un algoritmo addestrato su una raccolta di immagini in grado di riconoscere le caratteristiche fisiche dei clienti che si spostano nei corridoi del negozio tra gli scaffali. Questo algoritmo è progettato per identificare uno dei 19 diversi punti del corpo inclusi collo, naso, occhi, orecchie, spalle, gomiti, polsi, fianchi, caviglie e ginocchia.

AiFi con sede a Santa Clara afferma anche che la sua soluzione senza cassiere è in grado di riconoscere "comportamenti sospetti" all'interno dei negozi all'interno di un insieme definito di comportamenti di acquisto. Come Amazon, l'azienda utilizza set di dati sintetici per generare una serie di dati di addestramento e test senza richiedere i dati dei clienti. "Con la simulazione, possiamo randomizzare l'acconciatura, il colore, l'abbigliamento e la forma del corpo per assicurarci di avere set di dati diversificati e imparziali", ha detto un portavoce a VentureBeat. "Rispettiamo la privacy degli utenti e non utilizziamo il riconoscimento facciale o informazioni di identificazione personale. La nostra missione è cambiare il futuro dello shopping per renderlo automatizzato, attento alla privacy e inclusivo ".

Un brevetto depositato nel 2019 da Accel Robotics rivela la soluzione antitaccheggio proposta dalla startup, che opzionalmente si basa su tag anonimi che non rivelano l'identità di una persona. Analizzando le immagini della telecamera nel tempo, un server può attribuire il movimento a una persona e presumibilmente dedurre se ha preso oggetti da uno scaffale con malinteso. Il comportamento dell'acquirente può essere monitorato su più visite se "caratteristiche distintive" vengono salvate e recuperate per ogni visitatore, che potrebbero essere utilizzate per identificare i taccheggiatori che hanno precedentemente rubato dal negozio.

"[The system can be] configurato per rilevare il taccheggio quando la persona lascia il negozio senza pagare l'articolo. In particolare, l'elenco degli articoli a portata di mano della persona (ad esempio, nell'elenco del carrello della spesa) può essere visualizzato o osservato in altro modo da un cassiere umano sullo schermo del registratore di cassa tradizionale ", si legge nella descrizione del brevetto. “Il cassiere umano può utilizzare queste informazioni per verificare che l'acquirente non abbia preso nulla o stia pagando / mostrando tutti gli articoli prelevati dal negozio. Ad esempio, se il cliente ha preso due articoli dal negozio, il cliente dovrebbe pagare per due articoli dal negozio ".

Mancanza di trasparenza

Per ragioni competitive, le startup tecnologiche senza cassiere sono generalmente restie a rivelare i dettagli tecnici dei loro sistemi. Ma questo rende un disservizio agli acquirenti a loro sottoposti. Senza trasparenza riguardo alle applicazioni di queste piattaforme e ai modi in cui sono state sviluppate, sarà probabilmente difficile creare fiducia tra gli acquirenti, capacità di rilevamento dei taccheggi o no.

Zippin è stata l'unica azienda che VentureBeat ha parlato con quelle informazioni volontarie sui dati utilizzati per addestrare i suoi algoritmi. Ha affermato che, a seconda del particolare algoritmo da addestrare, la dimensione del set di dati varia da poche migliaia a qualche milione di video clip, con la formazione eseguita nel cloud e modelli distribuiti nei negozi dopo la formazione. Ma la società ha rifiutato di dire quali passi sono necessari per garantire che i set di dati siano sufficientemente diversi e imparziali, se utilizza attori o dati sintetici e se riqualifica continuamente gli algoritmi per correggere gli errori.

Sistemi come AI Guardsman imparano dai propri errori nel tempo consentendo agli impiegati del negozio e ai manager di segnalare i falsi positivi non appena si verificano. È un passo nella giusta direzione, ma senza ulteriori informazioni su come funzionano questi sistemi, è improbabile che possa dissipare le preoccupazioni degli acquirenti su pregiudizi e sorveglianza.

Esperti come Christopher Eastham, specialista in intelligenza artificiale presso lo studio legale Fieldfisher, richiedono quadri per regolamentare la tecnologia. E anche Ryo Tanaka, il fondatore di Vaak, sostiene che dovrebbe esserci un avviso prima che i clienti entrino nei negozi in modo che possano rinunciare. "I governi dovrebbero applicare regole che costringano i negozi a divulgare le informazioni – dove e cosa analizzano, come le usano, per quanto tempo le usano", ha detto alla CNN.

VentureBeat

La missione di VentureBeat è quella di essere una piazza della città digitale per i responsabili delle decisioni tecniche per acquisire conoscenze sulla tecnologia trasformativa e sulle transazioni.

Il nostro sito fornisce informazioni essenziali sulle tecnologie e strategie dei dati per guidarti mentre guidi le tue organizzazioni. Ti invitiamo a diventare un membro della nostra community, per accedere a:

  • informazioni aggiornate sugli argomenti di tuo interesse
  • le nostre newsletter
  • contenuti gated leader di pensiero e accesso scontato ai nostri eventi preziosi, come Transform
  • funzionalità di rete e altro ancora

Diventare socio