Il lato oscuro degli algoritmi: cosa ci insegna “Weapons of Math Destruction” di Cathy O’Neil

di historicus

Viviamo immersi nei dati. Ogni azione online, ogni movimento tracciato da uno smartphone, ogni
transazione digitale contribuisce a generare enormi flussi informativi che vengono raccolti, analizzati
e trasformati in decisioni automatizzate. A prima vista, tutto questo sembra straordinario: maggiore
efficienza, meno costi, più precisione. Ma cosa succede quando la matematica e gli algoritmi scritti
con l’aiuto della matematica smettono di essere strumenti di comprensione del mondo e diventano
meccanismi di esclusione, punizione o controllo? È la domanda scomoda che pone “Weapons of Math
Destruction – Armi di distruzione matematica”, il libro provocatorio e illuminante di Cathy O’Neil.
O’Neil, matematica di formazione e data scientist di professione, ha lavorato per anni nel mondo della
finanza algoritmica, contribuendo a creare modelli predittivi e sistemi di analisi. Con il tempo, però,
ha cominciato a nutrire dubbi profondi sull’impatto sociale dei modelli che contribuiva a costruire.
La sua disillusione è sfociata in un’opera di denuncia lucida, che mette in discussione una delle
narrazioni dominanti della nostra epoca: l’idea che gli algoritmi siano strumenti neutri, oggettivi e
affidabili.
Il titolo stesso è una provocazione: “Weapons of Math Destruction” (WMD), un gioco di parole che
richiama le “armi di distruzione di massa” (Weapons of Mass Destruction), ma sostituendo “mass”
con “math” – matematica. Le armi di distruzione matematica, spiega O’Neil, sono algoritmi opachi,
non regolamentati, applicati su larga scala e capaci di produrre gravi danni sociali. Non tutti gli
algoritmi lo sono, ovviamente: ma quelli che meritano questa definizione condividono alcune
caratteristiche comuni. In primo luogo, sono opachi: le persone colpite dalle loro decisioni spesso non
sanno nemmeno che un algoritmo ha determinato il loro destino, né possono comprendere i criteri
che sono stati applicati. In secondo luogo, agiscono su larga scala: non si tratta di errori individuali,
ma di sistemi che influenzano milioni di vite. Infine, hanno effetti distruttivi, che colpiscono
soprattutto i soggetti più vulnerabili, rafforzando disuguaglianze già esistenti.
Il libro si concentra su esempi tratti principalmente dal contesto statunitense, ma i meccanismi
descritti sono riconoscibili ovunque si adottino sistemi automatizzati senza un controllo critico. Uno
degli esempi più discussi è quello del sistema di valutazione degli insegnanti utilizzato a Washington
D.C. In questo caso, un algoritmo attribuiva un punteggio agli insegnanti in base ai progressi dei loro studenti nei test standardizzati. Ma il modello non teneva conto del contesto socio-economico degli
alunni, né di altri fattori esterni. Il caso emblematico è quello di Sarah Wysocki, un’insegnante stimata
da genitori e colleghi, licenziata perché il punteggio dei suoi studenti era sceso rispetto all’anno
precedente. La causa? Una precedente manipolazione dei voti aveva gonfiato i risultati, e il modello
interpretò il calo come segno di incompetenza. Nessuno spiegò a Wysocki perché era stata licenziata:
il sistema era chiuso, l’algoritmo inaccessibile, la decisione definitiva.
Un altro ambito critico è quello della giustizia penale. Negli Stati Uniti, software come COMPAS
(Correctional Offender Management Profiling for Alternative Sanctions) sono utilizzati per stimare il
rischio di recidiva dei detenuti e influenzano decisioni cruciali come la concessione della libertà
vigilata o la durata della detenzione. Questi strumenti si basano su questionari che includono variabili
come il quartiere di residenza, il reddito familiare, o l’età del primo contatto con la polizia – variabili
che tendono a penalizzare in modo sistematico le persone nere o provenienti da aree povere. Eppure,
il software è considerato “scientifico”, e quindi autorevole. Il problema è che non esiste un modo per
dimostrare che l’algoritmo funzioni correttamente in tutti i casi per cui è stato pensato. A differenza
di un esperimento scientifico controllato, dove si può testare una teoria e corroborarla o rigettarla, i
modelli predittivi applicati alla realtà sociale operano in ambienti complessi, pieni di variabili non
misurabili. Quando un algoritmo afferma che qualcuno ha “un’alta probabilità di recidiva”, non fa
una previsione certa, ma una generalizzazione statistica basata su dati passati che possono essere
parziali o distorti. E questa previsione può cambiare il futuro stesso, diventando una profezia che si
autoavvera.
Un altro terreno fertile per le WMD è quello del credito e delle assicurazioni. Negli Stati Uniti, il
punteggio di credito (credit score) è una vera e propria carta d’identità finanziaria, utilizzata non solo
per concedere prestiti, ma anche per stabilire il premio di un’assicurazione auto, accettare un
candidato a un lavoro o affittare una casa. O’Neil mostra come questi punteggi siano influenzati da
dati che non sempre riflettono la reale affidabilità finanziaria di una persona. Ad esempio, una persona
con un eccellente record di guida ma un cattivo punteggio di credito può pagare un’assicurazione
molto più alta di un guidatore con precedenti di guida in stato di ebbrezza ma un punteggio di credito
alto. Il modello assume che un cattivo credito implichi un comportamento rischioso, anche se non c’è
una relazione diretta. E poiché questi dati non possono essere contestati facilmente, si crea un circolo
vizioso: chi è povero paga di più, peggiora la sua situazione, e il sistema lo punisce ulteriormente.
Il mondo del reclutamento lavorativo non è immune da questi meccanismi. Sempre più spesso, le
aziende utilizzano software per analizzare i curricula, esaminare i profili social e somministrare test
di personalità. Ma questi strumenti spesso nascondono pregiudizi impliciti: un algoritmo può
escludere un candidato solo perché il suo indirizzo postale corrisponde a una zona “a rischio”, o
perché ha frequentato una scuola poco nota. Il modello può anche considerare irrilevanti alcune
competenze che non rientrano nei parametri prestabiliti, ignorando potenziali eccellenze “fuori
standard”. Anche in questo caso, l’opacità è il problema maggiore: il candidato non sa perché è stato
scartato, né può intervenire per correggere l’errore.
Non meno preoccupante è il modo in cui la politica ha cominciato a sfruttare gli algoritmi. Le
campagne elettorali moderne fanno ampio uso di microtargeting, una tecnica che utilizza i dati degli
utenti per inviare messaggi personalizzati, mirati su specifici gruppi di elettori. Durante la campagna
di Obama del 2012 – che O’Neil cita come caso paradigmatico – furono sviluppati modelli che
identificavano chi era sensibile a certe tematiche (ambiente, aborto, diritti civili) e si inviava a
ciascuno un messaggio calibrato, cucito su misura. Questa strategia, pur legale, solleva questioni
etiche profonde: se ogni elettore riceve una versione diversa della “realtà” o “verità”, come può
esistere un dibattito democratico autentico? Quando la comunicazione politica diventa frammentata,
personalizzata e invisibile, il rischio è che la democrazia stessa venga manipolata senza che i cittadini
se ne accorgano.
Un punto chiave che O’Neil sottolinea con forza è che non possiamo mai essere certi che un algoritmo
sia giusto o efficace solo perché è matematico. La matematica, dice l’autrice, non è un oracolo
neutrale: è un linguaggio, uno strumento. E come ogni strumento, può essere usato bene o male. Gli
algoritmi sono costruiti da esseri umani, con obiettivi, valori e pregiudizi. Se i dati su cui si basano
riflettono un mondo ingiusto, il modello lo perpetua. Per esempio, se l’obiettivo del modello è
massimizzare il profitto senza tenere conto dell’equità, l’algoritmo sarà efficiente, ma non giusto.
“Weapons of Math Destruction” è un libro scomodo, ma necessario. Non è un testo tecnico: è
un’opera divulgativa, scritta in tono accessibile, arricchita da esempi concreti e storie personali. Ma
è anche una chiamata all’azione. O’Neil invita matematici, ingegneri, politici e cittadini a non
accettare passivamente l’autorità degli algoritmi. Chiede maggiore trasparenza, la possibilità di
auditing indipendenti, e soprattutto l’adozione di una etica dei dati, che metta al centro la dignità e i
diritti delle persone.
Nel mondo digitale, non basta più sapere contare: bisogna sapere per chi si conta, e a vantaggio di
chi. Gli algoritmi possono essere strumenti di progresso, ma solo se li costruiamo con consapevolezza,
giustizia e responsabilità e se controlliamo costantemente la qualità dei loro output. Altrimenti, come
ci insegna Cathy O’Neil, rischiano di diventare nuove forme di potere cieco. E in quel caso, la
matematica non è più un’alleata: è un’arma.
Quello che rende “Weapons of Math Destruction” così attuale – anzi, forse ancora più urgente oggi
rispetto al momento della sua pubblicazione nel 2016 – è il fatto che tutto ciò che Cathy O’Neil
denuncia sugli algoritmi “tradizionali” si applica, con forza moltiplicata, all’intelligenza artificiale
(IA). L’IA, dopotutto, è basata su algoritmi: reti neurali, modelli di machine learning, sistemi di
ottimizzazione – sono tutti strumenti matematici che apprendono dai dati. Ma se questi dati sono
distorti, se i criteri che guidano l’addestramento sono opachi, se gli obiettivi sono guidati unicamente
dal profitto o dal controllo, allora anche l’intelligenza artificiale rischia di diventare una WMD, una
macchina che amplifica disuguaglianze invece di ridurle.
L’illusione più pericolosa, oggi, è credere che l’intelligenza artificiale sia “neutrale” perché
automatica, o “oggettiva” perché priva di emozioni. In realtà, come sottolinea O’Neil in relazione a
tutti gli algoritmi, anche l’IA incarna opinioni, valori e assunzioni umane, solo che li rende invisibili
e difficili da contestare. La differenza è che un algoritmo può commettere ingiustizie una per volta;
un sistema di IA può farlo in scala, su milioni di persone, in tempo reale e senza possibilità di ricorso.
Per questo, oggi più che mai, è necessario sviluppare e utilizzare l’intelligenza artificiale con sani
criteri: trasparenza, equità, spiegabilità, supervisione umana. Serve una nuova cultura dell’algoritmo,
che non veda la tecnologia come un fine, ma come un mezzo da mettere al servizio del bene comune.
Come ci insegna Cathy O’Neil, la matematica non è mai neutra, e l’intelligenza artificiale – che è
solo una sua estensione evoluta – richiede la stessa vigilanza critica, lo stesso impegno etico, e la
stessa umiltà.
In fondo, il futuro non sarà scritto solo dal codice che generiamo, ma dai valori che decidiamo di
inserire in quel codice. E sarà la nostra responsabilità – non dell’algoritmo – scegliere se costruire
strumenti di liberazione oppure nuove, silenziose catene o prigioni.