Danielle Horan si è presentata al suo solito negozio Home Bargains di Manchester. Ha attraversato l’ingresso e immediatamente le guardie di sicurezza l’hanno fermata. Il sistema di riconoscimento facciale l’aveva segnalata come una ladra di carta igienica. Il problema è che Danielle non aveva mai rubato nulla vita sua.
Clienti innocenti trattati da criminali: il flop inquietante dell’AI nei negozi
L’algoritmo di Facewatch l’aveva inserita in una lista nera. Nessuno però si è preso la briga di controllare se l’identificazione fosse corretta o meno. Il problema, è che Facewatch spaccia questo sistema come la soluzione per rendere sicuri i negozi. In realtà sta rovinando la vita a tante persone innocenti.
E quando Danielle ha provato a entrare in un altro negozio della stessa catena, è successo di nuovo. È stata rapidamente circondata dalle guardie e invitata ad andarsene. L’algoritmo aveva deciso che era una ladra di carta igienica e nessuno si è preso la briga di controllare se fosse vero.
Quello che colpisce di più in questa vicenda non è tanto l’errore tecnico, può capitare, per carità, ma il modo in cui è stato gestito. Nonostante Danielle abbia mostrato tutti i suoi scontrini e dimostrato di aver sempre pagato regolarmente, è toccato a lei provare la propria innocenza.
Per giorni si è dovuta giustificare non solo con il personale del negozio, ma anche direttamente con Facewatch. L’intelligenza artificiale aveva di fatto ribaltato uno dei principi base del diritto: si è colpevoli fino a prova contraria.
Un problema più grande di quanto sembri
Madeleine Stone di Big Brother Watch, organizzazione che si occupa di diritti civili, spiega che Danielle non è un caso isolato. Il gruppo ha ricevuto segnalazioni da oltre 35 persone che hanno vissuto situazioni simili. Facewatch ha ammesso l’errore e sospeso temporaneamente i servizi nei negozi coinvolti, spiegando che “l’affidabilità del sistema dipende dalle informazioni iniziali“. Tradotto: se il sistema sbaglia, è perché qualcuno gli ha dato dati sbagliati. E quindi?
In teoria, il riconoscimento facciale dovrebbe identificare rapidamente persone già note per comportamenti problematici. Invece sta creando una nuova categoria di vittime: persone normali che finiscono per errore in database di criminali inesistenti.
Il caso di Danielle dimostra quanto sia facile passare dall’essere un cliente qualunque all’essere marchiati come ladri da un algoritmo che non distingue un volto da un altro. E una volta finiti in queste liste nere digitali, uscirne diventa un’impresa.
Ti potrebbe interessare
16 giu 2025