In difesa dell'AI (3)

[attardi]

Un altro attacco sul fronte dell’AI, e in particolare alle tecniche di Deep Learning, viene da coloro che lamentano la mancanza di spiegazioni su come i sistemi ottengono risultati o effettuano le loro decisioni.

Non si può negare che i metodi che si basano su approcci statistici, vadano realizzati con molta attenzione alla trasparenza e ad evitare rischi di bias dovuti alla raccolta di dati su cui si basano.
Gli strumenti della statistica vanno usati correttamente, anche se non è facile farlo, come spiega questo recente articolo su Nature:

https://www.nature.com/articles/d41586-017-07522-z

Mi soffermo invece sulla questione della capacità di spiegare le decisioni da parte da un sistema basato su Deep Learning.

Primo punto, voi preferite un sistema che:

1. non si sa in quanti casi funziona
2. ha un’accuratezza misurata relativamente bassa
3. fornisce una spiegazione di come ha prodotto un risultato

oppure un sistema che:

1. si sa in quali circostanze funziona
2. ha un’accuratezza misurata molto elevata
3. fornisce un’indicazione percentuale del suo grado di confidenza
4. la risposta che dà è ottimale (non ce né una migliore) sulla base dei dati di partenza e l’obiettivo da ottenere.

Secondo punto.
Voi credete che gli esperti umani, di cui un sistema di Deep Learning cerca di emulare le capacità, sappia fornire una spiegazione effettiva dei suoi risultati?
Siete convinti che tutti gli esperti a cui vi affidate siano esenti da bias?
No, infatti la società si è attrezzata con meccanismi di verifica: se una decisione non soddisfa qualcuno ci si rivolge a una terza parte a cui contestare gli esiti.

Ma attenzione, fornire spiegazioni del comportamento di un sistema di Deep Learning è perfettamente possibile. È il risultato di un calcolo che è riproducibile e deterministico.
L’unico problema è che noi umani non sappiamo capire la spiegazione, perché non è formulata in termini a noi comprensibili.
Ma del resto i medici fanno fatica a darci delle spiegazioni comprensibili a non esperti.
Ma una soluzione tecnica c’è, e consiste nel realizzare un sistema di AI che apprende a formulare spiegazioni comprensibili agli umani di un altro sistema di AI.
C’è chi lo sta già facendo:
https://www.theregister.co.uk/2017/09/28/inside_explainable_ai/

e qui c’è un esempio proprio nel campo della medicina:

https://arxiv.org/abs/1711.06402

[Sandro]

dal mio punto di vista,puntare subito al deep learning,eludendo sottoproblemi(sic!) quali la comprensione è rischioso. Il problema del learning cioè racchiude tanti sottoproblemi .
Tentiamo di mettere un po’ d’ordine . Mi riferisco al seguente grafico(cortesia di S.Incerti)

gli esseri umani meno bravi agiscono con procedure imparate a memoria, anche se non ben comprese.In tal caso possono evitare la fase di comprensione e fare qualcosa che comunque funziona correttamente ,in maniera meccanica . I più bravi tentano di capire le cose prima di farle. Ma what’s in a link? This is the question! Per passare da knowledge a understanding in maniera tracciabile, basta un po’ di reasoning?..ma come? mescolando approcci distinti? algoritmi e coding di Pattern matching e/o problem solving,di statistica e di probabilità insieme? Il discorso è lungo,aperto e molto tecnico. Per il learning,ed il deep learning non esistono solo le reti neurali fortunatamente,anche se i titani di Internet adottano solo quelle,per ora.Per arrivare comunque al learning non si può saltare lo step comprensione,se poi vuoi saper dare una spiegazione. Diceva Dante se ben ricordo “Che non fa scienza, senza lo ritener l’avere inteso”!!!

Per una intuizione della struttura di un sistema di reasoning bisogna avere la pazienza di qualche minuto seguendo la seguente lezione di Pat Winston ad MIT https://www.youtube.com/watch?v=leXa7EKUPFk&t=835s. Chiarisce la struttura di un algoritmo in grado di fornire spiegazione di certe scelte nel percorso…).

Tornando alle osservazioni del prof.Attardi,in effetti un sistema che ci spiega le decisioni di un altro sistema progettato come una black box, potrebbe essere una soluzione

[Ale]

Voglio solo spezzare una lancia contro la penultima delle cinque noterelle del citato articolo di Nature, Share analysis plans and results, che invita a pubblicare i metodi prima di raccogliere i dati, e spiega:

This eliminates the temptation to hack out the one path that leads to significance and afterwards rationalize why that path made the most sense.

Questo, credo, è proprio quello che si intende quando si parla di capire o di dare un senso a un risultato ottenuto con metodi empirici. È quello che si fa quando si “retrofitta” una spiegazione su di un modulo che non è stato progettato per darne. Bisogna però distinguere i due tipi di spiegazioni:

• Ci sono spiegazioni tecniche che possono essere usate per migliorare o valutare il funzionamento di un sistema (o la competenza di un esperto umano).
• Ci sono spiegazioni ex post che sono semanticamente utili o anche illuminanti, ma non tecniche.

Le seconde possono essere usate da un sistema per spiegare una decisione amministrativa. La spiegazione può costituire l’elemento con cui contestare la decisione automatica rivolgendosi a un operatore umano.

[Guido_Vetere]

Infatti, non è che non si possa dare una spiegazione del perché una rete neurale abbia associato un certo input a un certo output: il problema è cosa ci fai con quel genere di spiegazione nel contesto in cui il sistema si colloca.
Per esempio, un caso reale: una rete addestrata per distinguere i cani dai lupi classificava regolarmente gli husky come lupi. Il sistema ha “spiegato” che ciò era dovuto allo sfondo: gli husky, come i lupi, venivano solitamente fotografati sulla neve.
Il problema non è quello di essere in grado di fornire una spiegazione del comportamento della macchina, ma di controllarne puntualmente il processo decisionale. In molti scenari applicativi questo aspetto è cruciale, e credo che alcuni di questi siano scenari caratteristici della PA

[Giovannipansini]

Interessante… segnalo questo studio:

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3064761

cito la raccomandazione finale: “Come gruppo interdisciplinare di studiosi di giurisprudenza, scienziati informatici e scienziati cognitivi, raccomandiamo che per ora i sistemi di intelligenza artificiale possano e debbano essere tenuti a un livello di spiegazione simile a quello degli esseri umani; in futuro potremmo desiderare di mantenere un’IA per uno standard diverso.”