Per fare AI e Deep Learning in particolare servono macchine con architetture dedicate, non bastano supercomputer che vantano un elevato numero di GFLOPS.
Supercomputer tradizionali che vantano anche Tera o Peta FLOPS, sono come delle Ferrari: macchine bellissime e costosissime che vanno bene in una pista perfettamente spianata. Invece per fare AI occorre trasportare grandi carichi su un terreno accidentato.
Servono quindi macchine con architettura dedicata, disegnata per svolgere operazioni di calcolo tensoriale su grandi blocchi di dati che stiano interamente nella memoria della GPU.
Se i dati non stanno sulla GPU, il tempo di trasferimento annulla interamente il vantaggio della GPU.
Secondo, per il Deep Learning, è sufficiente operare su numeri in half precision, con il duplice vantaggio che il calcolo è più veloce e si iccupa 1/4 di memoria, potendo tenere più dati sulla GPU. Di conseguenza si consuma meno energia.
Con macchine dedicate si guadagna in EEE (efficienza, efficacia, energia).
È per questo che Goohle ha costruito una macchina dedicata per il calcolo trnsoriale, basata su TPU, una GPU specilizzata.
Una macchina del genere costa molto meno di un supercomputer tradizionale ed è 100 volte più efficiente.
Questo articolo descrive i vantaggi del cloud server con GPU di Google:
Del resto snche Apple per l’iPhone X ha scelto di costruirsi una propria GPU dedicata ai task di ML e in particolare al riconodcimento di immagini.
Qualcuno si spinge a preconizzare che in futuro avremo macchine dotate principalmente di GPU, con poche CPU dedicate soltanto a compiti di routine.
La cloud platform del GARR (cloud.garr.it) si è dotata di un supercomputer-in-a-box, che dispone di GPU Nvidia Volta V100.
La macchina fa parte della nuova Container Platform del GARR, che mette questa risorsa a disposizione corredata di tutte le principali librerie di Deep Learning predisposte per l’uso su container.
Per agevolare l’utilizzo e lo scambio di espetienze tra i ricercatori italiani, la piattaforma è messa a disposizione ai ricercatori italiani a condizione che mettano a disposione sulla piattaforma stessa sia i dati di spprendimento, sia i modelli che gli algoritmi che hanno sviluppato.
