Non bisogna aver paura della "black box"

[MarcoBani]

Molte volte, anche in questa community, abbiamo scritto di come strumenti di IA non riescono a spiegare bene come ottengono un risultato, una “black box”, una scatola nera che non rivela il suo funzionamento.
Questo può portare a dubitare di questi strumenti, che non garantiscono equità e giustizia.
Un articolo del NYT argomenta invece che non bisogna avere paura delle black box in quanto anche alcune decisioni “umane” sono difficili da spiegare…

Opinion | Artificial Intelligence’s ‘Black Box’ Is Nothing to Fear

[Guido_Vetere]

che le spiegazioni umane possano essere fittizie e opache non v’è alcun dubbio, ma questo non ci assimila di certo a delle ‘black box’, come l’articolo sembra suggerire. forse un medico non è pienamente consapevole dei ‘pattern’ che attiva quando fa una diagnosi, ma si commette a dichiarare in modo comprensibile (almeno ai suoi colleghi) su quale base prende la sua decisione, e su quello assume una resposabilità. questa secondo me è la differenza fondamentale

[MarcoBani]

Esatto, la chiave è la responsabilità!

[solyarisoftware]

spiegazioni umane possano essere fittizie e opache non v’è alcun dubbio, ma questo non ci assimila di certo a delle ‘black box’, come l’articolo sembra suggerire.

Si.

Nel termine “AI-Blackbox” c’è una criticità duplice:

1. Scatola nera come limite tecnologico:
   prendiamo il caso di un sistema di deep-learning o comunque di un qualche buon vecchio algoritmo basato sulla statistica. Uno dei problemi lamentati spesso è la mancanza di “introspezione”: il sistema non è in grado di spiegare il “ragionamento” che porta ad una certa conclusione e la spiegazione è statistica non ci soddisfa affatto! Ma questo è in fondo un falso problema e penso che i sistemi AI evolveranno necessariamente fornendo report introspettivi interpretabili come ragionamenti comprensibili dagli umani. No problem.

2. Scatola nera come necessità commerciale:
   Qui la faccenda è più rognosa. Io azienda produttrice di un sistema qualsivoglia di AI (non fatemi fare nomi), voglio vendere il mio sistema proprietario, quindo non fornisco informazioni che permettano alla “concorrenza” di ri-costruire un sistema simile. Uso codice chiuso, brevetto tutto il brevettabile, etc. etc.

A mio modesto avviso il futuro del software è in tutt’altra direzione, fatto di sistemi “whitebox”, con codice aperto e sviluppo condiviso. Modelli di business da re-inventare. E’ questo tra l’altro l’ambito in cui come “sistema Europa” avremmo una carta da giocare. Facile a dirsi, lo so… ma quale occasione, se non quella di questa task force, per parlare apertamente della necessità trans-nazionale di una OpenAI, come passo evolutivo rispetto alla attuale temporanea fase storica dei sistemi proprietari?
Suggerimento: ricordiamoci la storia della computer science dal dopoguerra ad oggi … e la storia si ripete

[Guido_Vetere]

l’unica spiegazione che una rete neurale (e in genere un sistema di machine learning statistico) può dare è: in base alla mia conformazione (es strati di neuroni e pesi iniziali) e ai dati di addestramento, a tale input corrisponde tale output. that’s it! al limite, una rete può indicare quali sono i fattori determinanti per una certa associazione. così, ad esempio, una rete spiegò candidamente che classificava i cani husky come lupi perché entrambi venivano fotografati sullo sfondo della neve. cioè: quello che manca ai sistemi di ML è una esplicatività consistente rispetto alle conoscenze di sfondo su cui si basa il nostro sapere

[rtorlone]

Concordo con Marco e Guido sulle difficoltà di fornire spiegazioni ad alcuni processi di ML (in particolare di DL) e vi segnalo questo interessante articolo nel quale si evidenziano addirittura alcuni “pericoli” che si possono correre nel rendere completamente trasparente un processo di AI.

Don’t Make Artificial Intelligence Artificially Stupid in the Name of...

[Guido_Vetere]

interessante, ma non spiega tecnicamente perché l’esplicatività andrebbe a scapito delle prestazioni, non credo che questo sia vero in generale. comunque su un punto concordo: chiedere spiegazioni a una rete neurale non ha senso. ha senso invece riflettere bene sui casi in cui l’intellegibilità del contenuto e la trasparenza (auditability) del ragionamento siano requisiti fondamentali, e credo che nella PA questi casi abbondino