L’algoritmo razzista che ci divide in buoni e cattivi

L’algoritmo razzista che ci divide in buoni e cattivi

di Alina Di Mattia

Hai un curriculum eccellente ma non trovi lavoro? La banca ti rifiuta un prestito senza motivazione? È colpa di un algoritmo. 

Avete mai sentito parlare di frenologia? Si tratta di una vecchia dottrina scientifica ideata dal medico tedesco Franz Joseph Gall, secondo il quale era possibile valutare la moralità di un individuo a seconda della forma del cranio. Quella stessa teoria che influenzò, qualche decennio più tardi, l’operato di Cesare Lombroso, i cui studi condannarono a morte centinaia di innocenti colpevoli di avere avuto determinate caratteristiche fisiche.

Era la fine del 1700. Alessandro Volta non aveva ancora inventato la pila e Watt aveva da poco messo a punto la sua macchina a vapore. Mentre gli illuministi si affannavano a promuovere i principi di libertà ed uguaglianza, nei salotti dell’alta borghesia europea si discuteva di crani, anzi, si catalogavano essere umani in base a preconcetti, o forse sarebbe meglio scrivere “pregiudizi”, modellati appunto sulla scatola cranica.

Razzismo matematico

Tutto ciò che facciamo, tutto ciò che scriviamo sul web, viene sistematicamente registrato su banche dati: l’indirizzo che cerchiamo su Google Maps, il prodotto che acquistiamo su Amazon, la recensione che lasciamo su Tripadvisor, i “mi piace”, i repost, i retweet, il selfie, i geotag che condividiamo con gli amici, le parole che digitiamo e che ripetiamo, i desideri e le paure, le persone con cui interagiamo, il Cap in cui viviamo, i luoghi che frequentiamo. Tracce per ricavarne preziose informazioni da far codificare alle macchine e per catalogarci in gruppi, in ceti sociali, in buoni o cattivi, in bianchi o neri, in ricchi o poveri, in vincenti o perdenti. Per bombardarci di pubblicità mirate ai consumi, certamente, ma soprattutto per schedarci e per creare dei modelli matematici predittivi volti a scovare i migliori impiegati, i peggiori pagatori, gli insegnanti modello, gli allievi potenzialmente più dotati. A volte, anche per identificare soggetti tendenzialmente pericolosi, come è accaduto a Reading, in Pennsylvania, grazie all’uso dell’app Predpoll, forse uno dei pochi programmi di schedulazione di vera utilità sociale.

You are currently viewing a placeholder content from Default. To access the actual content, click the button below. Please note that doing so will share data with third-party providers.

More Information

Come fanno?

Con la Matematica, o meglio, con un algoritmo, un’opinione formalizzata da un codice. È su di essi che le grandi aziende basano ormai il loro lavoro, il potenziale successo di un prodotto,  la diversificazione dei turni dei dipendenti e persino la selezione del personale.

Un esempio lampante di come la matematica sia diventata un’arma di distruzione di massa è la classifica delle migliori università degli Stati Uniti di US News.  206 insegnanti delle elementari di Washington D.C. vennero licenziati in tronco a causa di un test elaborato da un software.  Perché? Per aver dato voti ai loro allievi senza gonfiarli! Per l’algoritmo un basso voto significava un insegnante inefficiente e di conseguenza un punteggio basso per  l’istituto in questione. In tal modo le scuole elementari pubbliche di Washington D.C. persero alcuni degli insegnanti più brillanti, che a loro volta ripiegarono negli istituti privati delle zone più ricca della città. Ne conseguì, come è facile dedurre, un abbassamento del livello di istruzione e, paradossalmente, l’ascesa in classifica delle sopracitate scuole.  Nonostante il fallimento del sistema però l’algoritmo di valutazione degli insegnanti di Washington D.C.  è ancora al suo posto.

Meritocrazia Vs Algoritmo

La ricercatrice matematica Cathy O’Neil, fondatrice di mathbabe ed autrice del libro “Armi di distruzione matematica” spiega come gli algoritmi –  che dovrebbero contrastare i pregiudizi e puntare sull’equità –  classificano invece le persone finendo per creare disuguaglianze sociali, segregazione razziale, emarginazione. Errori che le macchine non rilevano e che quindi non correggono.

You are currently viewing a placeholder content from Default. To access the actual content, click the button below. Please note that doing so will share data with third-party providers.

More Information

Sono software di catalogazione, come l’app Kronos ad esempio,finalizzati ad economizzare e di conseguenza ad escludere la maggior parte dei candidati, ma attenzione, non a selezionare i migliori! Programmi di recruitment sofisticati basati sugli Applicant Tracking Systems, che cestinano automaticamente i curricula che non contengono determinate keywords, a meno che siano stati redatti con le dovute accortezze e a prova di ATSUn sistema fallace che non premia candidati meritevoli e competenti bensì chi ha risorse per aggirare l’ostacolo, e che penalizza ovviamente anche la stessa comunità. Sono sempre più numerose infatti le aziende pubbliche e private che non funzionano. C’è poco da fare.

Questi modelli di recruitment del personale si basano talvolta anche su informazioni creditizie e persino su bollette di utenze domestiche non saldate.  Ne deriva un immediato abbassamento del rating del soggetto, che comporta un punteggio negativo per una sua eventuale assunzione. Ne pagano le conseguenze anche brillanti professionisti che spesso, a causa del fallimento delle società in cui lavorano, si ritrovano improvvisamente con spese e carte di credito da pagare e a cui non possono far fronte all’istante, finendo di danneggiare la loro reputazione finanziaria.

È così che il povero diventa sempre più povero e il ricco sempre più ricco.

Una recente ricerca di SimplyHire relativa ai metodi di selezione del personale all’interno delle aziende americane ha appurato che il 40% dei datori di lavoro esamina inoltre i profili social dei candidati, i contatti e il cosiddetto Google Curriculum che ciascuno di noi ha in Rete. Come conoscerlo? Basta cliccare il proprio nome su Google. I risultati restituiti dalla ricerca costituiscono la vostra web reputation. 

Ha suscitato un vespaio di polemiche la decisione di American Express di abbassare il platfond delle carte di credito di alcuni clienti.
La loro colpa? Fare la spesa nei discount, nei negozi cheap, quelli più economici insomma, pratica che l’algoritmo ha segnalato come campanello di allarme di un eventuale quanto improbabile abbassamento del tenore di vita dei clienti, e che ha generato  – matematicamente! –  una ipotetica previsione di insolvibilità degli stessi. Sembra incredibile, eppure accade.

Disuguaglianze sociali del terzo millennio

Un connubio imperfetto tra Finanza privata e società di Big Data che distorcono il sistema, favoriscono la crescita della povertà, aumentano il divario tra classi sociali.  Non a caso questi sistemi predittivi vengono utilizzati anche in alcune carceri americane. In Texas, per esempio, le richieste di libertà vigilata vengono concesse sulla base della recidività fornita dall’algoritmo LSI-R. Si è scoperto – ma nulla è stato fatto per rimediare –   che la maggior parte dei soggetti valutati dai software come recidivi sono stranamente neri o ispanici, ex disoccupati o abitanti in quartieri tendenzialmente poveri.

Se da una parte l’Informatica ha sdoganato l’uomo da lavori alienanti e logoranti, dall’altra lo ha condannato a subire il controllo totale della sua esistenza. Una sorta di Panopticon reale che controlla e manipola tutto dall’alto: assunzioni, istruzione, consumi, abitudini e persino elezioni politiche. Pensate che nella Discografia, questi modelli predittivi vengono usati sempre più spesso per decidere quale brano funzionerà o meno. Sarà questo il motivo della decadenza della musica attuale?

Gli algoritmi non inventano il futuro, tanto meno lo predicono. Interpretano piuttosto le persone basandosi su modelli prestabiliti e con un margine di errore significativo che condanna esistenze, posti di lavoro, il futuro della stessa società e con il rischio fondato che possano diventare uno strumento di oppressione dei popoli.

You are currently viewing a placeholder content from Default. To access the actual content, click the button below. Please note that doing so will share data with third-party providers.

More Information

Come difendersi allora?

Una soluzione c’è, anzi, ce ne sarebbero due. La prima è quella di tornare a considerare le persone nella loro dimensione umana, abolendo i codici e avvalendosi dell’etica del dubbio, cosa che l’algoritmo con le sue insindacabili certezze matematiche non potrà mai fare. Ma questo significherebbe rinunciare ai profitti. E secondo voi, Big Corporations con Big Data rinuncerebbero mai a Big profitti? La risposta è ovviamente no.

Quanto alla seconda soluzione, beh, ho un codice deontologico da rispettare…

 Per approfondimenti: