"Machine Bias" nei sistemi allenati

[Simone_Scardapane]

L’ultima problematica del deep learning a cui volevo dedicare un topic separato è quella del “machine bias”, ovvero la tendenza naturale che hanno sistemi di deep learning di estrapolare bias tipicamente umani dal training set. Il titolo del topic prende il via da questo famoso articolo di ProPublica, che aveva mostrato un caso enorme di bias all’interno dei tribunali statunitensi:

Machine Bias — ProPublica

Anche qui, è un problema che sta prendendo rilevanza oggi (tutti hanno sentito parlare del bot che è diventato razzista, ma è solo la punta dell’iceberg). Un altro riferimento essenziale è questo articolo dell’anno scorso:

Neural networks are inadvertently learning our language’s hidden gender biases

[Giulio]

Grazie Simone per il tuo contributo. Qual è la tua opinione in merito all’argomento? Come pensi si possa intervenire per tutelarsi da questi inconvenienti del Machine Bias?

[Claudio]

Credo che siano tematiche collegate in un certo senso al sovraddestramento degli algoritmi di apprendimento.
L’IA deve apprendere dall’esperienza, in una logica machine learning, per arrivare a simulare la capacità di ‘adattarsi’ all’ambiente (definizione di Intelligenza) tipica dell’uomo. Nel momento in cui il sovraddestramento degli algoritmi fornisce un risultato eccessivamente simulativo del comportamento umano e/o troppo contestualizzato, si perde di vista l’obiettivo e si raggiungono risultati poco opportuni sia qualitativamente (forse) che eticamente… qual è il limite? chi lo decide?

[Simone_Scardapane]

In realtà è un problema più sfuggevole del semplice overfitting, perché non necessariamente questi bias sono associati ad un peggioramento della capacità di generalizzazione del modello. Cito dal paper descritto nel mio secondo link prima:

There have been hundreds or thousands of papers written about word embeddings and their applications, from Web search [27] to parsing Curriculum Vitae [16]. However, none of these papers have recognized how blatantly sexist the embeddings are and hence risk introducing biases of various types into real-world systems.

In questo caso specifico si sta parlando di word embedding, ovvero tecniche per trasformare parole (o più in generale documenti) in vettori di numeri che possano essere usati con facilità da una rete neurale. Alcuni di questi embedding (word2vec) sono stati usati in migliaia di applicazioni proprio perché possedevano all’apparenza una generalizzazione quasi “semantica”, prima che ci si accorgesse realmente di quanti bias di genere portassero con sé.

Ho aperto un secondo topic in questa sezione, dedicato all’impatto dei sistemi di ML. In entrambi i casi, il problema, più che tecnico, è a monte: questi bias non vengono rilevati perché non c’è assolutamente nulla, in fase di progettazione, pensato o sviluppato a tal fine. Per questo al momento c’è bisogno di una sensibilizzazione su questi temi, che permetta quantomeno di applicare tecniche di base per risolverle (come quella descritta nell’articolo di prima), o semplicemente mettere in piedi adeguate contromisure per tempo.

[Salvatore_Iaconesi]

Ovviamente in questa discussione stiamo dando per scontato che esistano, in qualche universo perfetto, dei dati che non siano “biased”.

Il che non è ovviamente vero.

In un certo senso “i dati sono opinioni”, nel senso dell’essere consapevoli che il misurarli è un atto ideologico: io ho una mia ideologia e, quindi, penso che abbia senso misurare il mondo in un certo modo.

Ciò che cambia è che in questo caso, quando entra in gioco l’AI, questa ideologia è più difficile da identificare, e si può anche moltiplicare, perché c’è la mia, quella dell’ingegnere che ha fatto il software, quella sviluppata dall’AI tramite il traininig, eccetera, di moltiplicazione in moltiplicazione.

Però il problema esisteva sin dall’inizio, come sanno bene tutti i ricercatori che, con l’evoluzione della scienza, altro non fanno che evolvere queste ideologie, che rimangono bene finché qualcuno non ne trova di migliori. E, oltretutto, ogni scienziato sa benissimo, che il misurare fenomeni anche diametralmente contrastanti su uno stesso fenomeno non vuol dire che sia “sbagliato”. Vuol dire di certo che le diverse azioni hanno misurato quantità differenti rispetto al fenomeno. Hanno avuto “ideologie” differenti.

Quello che succede è che tutte queste ideologie sono utili per comprendere meglio il mondo.

Quindi benissimo accorgersi del bias. E altrettanto importante accorgersi che il bias è sintomo di diversità (per esempio rispetto a quello che misureremmo noi), e che può essere utilizzato per capire altre cose, per esempio su chi ha misurato in quel modo.

Questo modo di riutilizzare anche questi risultati che apparentemente sembrerebbero “sbagliati” è, tra l’altro, una delle cose più interessanti che iniziamo, come esseri umani, ad essere capaci di fare in maniera sistematica. Usando tra l’altro tutta la dotazione di bigdata, machine/deep learning, AI eccetera.

[Simone_Scardapane]

Condivido un ulteriore articolo del MIT Technology Review (Luglio) sul tema, utile per allargare la discussione:
https://www.technologyreview.com/s/608248/biased-algorithms-are-everywhere-and-no-one-seems-to-care/

[Ale]

Alla luce di quanto detto da Salvatore , questi tentativi di eliminare il bias tramite ispezione degli algoritmi non sembrano destinati a portare lontano.

Ci sono tentativi di produrre spiegazioni razionali alle conclusioni del ML. Ne cito un paio: Rationalization: A Neural Machine Translation Approach to Generating Natural Language Explanations applica la razionalizzazione a un sistema esistente di apprendimento di un videogioco; l’altro Rationalizing Neural Predictions propone la generazione di spiegazioni come parte integrante del ML.

Credo che sia più facile eliminare il bias tramite ispezione delle razionalizzazioni, specialmente se viene richiesto che questa venga data in un linguaggio formale apposito. È un approccio caso per caso, che non porta a un sistema infallibile ma a casi verificati. Evidentemente non ha alcun senso che un sistema automatico che fa parte di un processo decisionale di una P.A. non possa fornire una spiegazione razionale obiettiva. L’incapacità di produrre tale spiegazione può avere effetti diversi a seconda del sistema, del caso, o di quant’altro.

[Simone_Scardapane]

Hai perfettamente ragione; relativamente al razionalizzare le predizioni, aggiungo che esiste anche una buona letteratura di algoritmi che cercando di evidenziare quali componenti dell’input hanno portato ad una determinata classificazione, es.:

https://arxiv.org/abs/1706.00536
https://arxiv.org/abs/1602.04938

Il secondo ha un esempio molto interessante di bias (creato artificialmente), dove un husky viene riconosciuto solo sulla base della presenza o meno di neve:

[Guido_Vetere]

Il bias nei sistemi basati sull’analisi delle distribuzioni (es. delle parole) è inerente. Cioè: non è un problema, è proprio il principio con cui funzionano. I fenomeni “degeneri” che ne emergono (ad es. sessismo, razzismo, etc.) mostrano bene lo scarto che c’è tra distribuzione e significato. Sui limiti dell’analisi distribuzionale in linguistica (Harris) s’era già espresso Chomsky in tempi non sospetti. Molto opportuno che se ne parli qui, conoscere la storia delle idee aiuta a non ripetere classici errori.

[gherardocarullo]

Ciao Simone,
su questo tema sono molto interessanti le riflessioni e le iniziative avviate in Francia, dove si parla molto di decisioni automatizzate, algoritmi e rischi di “imparzialità”.

Un documento in proposito interessante è la relazione sulle modalità di regolazione degli algoritmi del maggio dell’anno scorso, predisposta dal Ministero dell’Economia, dell’Industria e del Digitale (Ministère de l’Economie, de l’Industrie et du Numérique).

Puoi trovare la relazione a questo link

2016_05_13_Rapport_Algorithmes(1).pdf

Per maggiori info di carattere generale sul dibattito francese ti segnalo anche questo articolo (in francese, ma facilmente traducibile con Google Translate per i non francofoni )

Algorithmes : la France se mobilise pour plus de transparence

[Simone_Scardapane]

Ti ringrazio, la relazione francese è piena di spunti (anche se la trovo leggermente dispersiva, ad esempio distingue poco tra il classico problema dell’interpretabilità delle tecniche di machine learning come le reti neurali, e l’interpretazione di eventuali bias, almeno nelle parti che ho letto).

C’è un paragrafo sulla discriminazione dei prezzi molto peculiare, dove l’aspetto interessante è che non si capisce quanto questa discriminazione esista e quanto sia voluta, che si può replicare in maniera immediata a qualsiasi questione di bias: quando giudicare un bias discriminatorio una svista tecnica o qualcosa di deliberato (ad esempio per aumentare le prestazioni medie del sistema). Aggiungo un articolo di Microsoft per una categorizzazione dei vari bias con un primer per identificarle:

How to recognize exclusion in AI – Microsoft Design – Medium