La comunità di matematici si è resa protagonista di una protesta poco usuale: 1.400 di loro hanno firmato una lettera il 15 giugno indirizzata al notiziario della società matematica statunitense, l’Ams Notice, in cui si invitavano i colleghi a «boicottare il lavoro con i dipartimenti di polizia» degli Stati Uniti «alla luce degli assassinati extragiudiziari» come quello di George Floyd, e della «brutalità della polizia» nella repressione delle manifestazioni. L’Ams ha fatto sapere invece di non avere una posizione ufficiale sulla questione.
I 10 ricercatori e ricercatrici che hanno lanciato la lettera hanno identificato i modi in cui la loro disciplina contribuisce a rendere la vita dei neri d’America ancora più dura. Al centro delle critiche dei firmatari della lettera aperta c’è il cosiddetto predictive policing, un software diffusissimo nei dipartimenti di polizia delle città nordamericane, che utilizza degli algoritmi per predire dove è più probabile che avvengano i crimini, chi potrebbe commetterli, se questi individui possono essere legati a gang, e fa delle raccomandazioni sulle zone dove “è meglio” distribuire gli agenti. Nella lettera si fa riferimento in particolare a un workshop del 2016 organizzato da alcune matematiche e matematici legati a doppio filo all’azienda PredPol, che commercializza questi software. Software che sono stati ampiamente criticati per essere troppo semplicistici.
La matematica che viene usata in questi modelli, per semplificare molto, evidenzia i luoghi dove sono stati già compiuti arresti o delitti e segnala alla polizia di tornarci. Sono modelli matematici molto simili a quelli che prevedono dove accadranno gli sciami sismici dopo il terremoto principale. Con la differenza che mentre ci sono sismografi più o meno ovunque che possono rilevare microsismi in ogni momento, nel mondo reale non ci sono “rilevatori” di crimini in ogni posto e a ogni ora: pertanto, un sistema basato su questo meccanismo tende a rilevare più crimini dove già è inviata più polizia, e a non rilevare i crimini che vengono meno denunciati. Con l’effetto di amplificare il razzismo istituzionale già esistente.
Analoghe critiche, cui i firmatari fanno eco, si possono fare ai software di intelligenza artificiale utilizzati per il riconoscimento facciale. In particolare, per quei software che vorrebbero “riconoscere” i volti dei criminali da quelli delle persone per bene – ammesso che esistano.
In un bell’articolo dell’anno scorso del New York Times, citato gli stessi matematici firmatari della lettera, si diceva che «l’intelligenza artificiale e il computing moderno stanno dando una nuova vita e una patina di oggettività» a teorie screditate come la frenologia o la fisiognomica, «usate nel passato per legittimare la schiavitù e perpetuare la scienza dalla razza nazista». Ma ci sono persone che stanno lavorando anche su software per distinguere facce intelligenti da quelle di stupidi o per riconoscere le facce delle persone omosessuali da quelle eterosessuali.
Alcune versioni di questi programmi sono disponibili commercialmente e vengono usate per indovinare genere, sesso, età o stato emozionale da una fotografia: ma anche in questo caso c’è un problema strutturale. Non funzionano bene con le foto di persone non bianche, semplicemente perché i software non sono stati allenati per riconoscerle.
«Esistono preoccupazioni serie sull’uso del machine learning, dell’intelligenza artificiale e delle tecnologie di riconoscimento facciale per giustificare e perpetuare l’oppressione», scrivono i matematici nella lettera. «Dato il razzismo culturale e la brutalità della polizia, crediamo che noi matematici non dovremmo collaborare con i dipartimenti della polizia», giacché «è troppo semplice creare una patina ‘scientifica’ per il razzismo». I firmatari che questi sofware vengano sottoposti a giudizio pubblico e che nei corsi di data science vengano affrontate le implicazioni etiche, sociali e legali di queste tecnologie.
LUCA TANCREDI BARONE
Foto di Orna Wachman da Pixabay
