Reti neurali profonde

Algoritmi di apprendimento automatico per associare etichette a dati in input.

• I dati attraversano la rete, rappresentati come vettori che ne sintettizzano le caratteristiche principali (feature).
• Ogni stato si compone di neuroni che applicano una funzione di attivazione per modificare il segnale in ingresso.
• Se addestrata su una quantità ragionevolmente vasta, la rete generalizza l’apprendimento per funzionare su dati mai visti prima.

Addestramento

L’addestramento delle reti neurali avviene in maniera distribuita sfruttando server con GPU o TPU dedicate.

• I tempi di addestramento possono impiegare mesi al completamento e durante questo tempo si utilizzano quantità considerevoli di energia elettrica.

Dispiegamento

I modelli neurali addestrati sono poi “dispiegati” nei datacenter forniti come servizi ai clienti finali.

Consumi

• Quali algoritmi vengono utilizzati, le loro implementazioni, quanti paramentri vengono utilizzati, tempo di addestramento e querying.

• Il numero di server e TPU/GPU utilizzate per addestramento e dispiegamento, il PUE dei datacenter utilizzati.

• Siano $H_t$ e $H_q$ l’insieme dell’hardware necessari alle fasi di addestramento e dispiegamento di una rete neurale.

  • Siano, relativi al $j$-esimo hardware:
    • $t_j$ tempo di addestrameto
    • $\varepsilon_j$ PUE
    • $P_j$ potenza media relativa
  • $E_t$ energia addestramento:

  $$

  E_t = \sum_{j\in H_t}t_j\varepsilon_jP_j \cong \varepsilon \sum_{j\in H_t}P_t\varDelta T_t

  $$

  • $C_t$ impatto addestrameto in gas serra:

  $$ C_t =\frac{E_t}{\tau}\cdot \alpha_{Paese} $$

  • Siano, relativi al $k$-esimo hardware:
    • $t_k$ tempo di addestrameto
    • $\varepsilon_k$ PUE
    • $P_k$ potenza media relativa
  • $E_q$ energia dispiegamento:

  $$ E_q = \sum_{k\in H_q}t_k\varepsilon_kP_k \cong \varepsilon \sum_{j\in H_t}P_q\varDelta T_q $$

  • $C_q$ impatto dispiegamento:

  $$ C_q =\frac{E_q}{\tau}\cdot \alpha_{Paese} $$

• $C_{emb}$ emissioni integrate di un sistema basato su rete neurale sono:

  $$ C_{emb}= \sum_{h\in H_t \cup H_q}C_i(h) $$

• $C_i(h)$ funzione che per un componente hardware restituisce le emissioni integrate.

Buone pratiche di Google

• Modelli: usare modello più efficienti(sparsi invece che densi), può ridurre di un fattore 5-10 i calcoli.
• Macchine: l’uso di macchine più efficienti può migliorare le performance per Watt di un fattore 2-5.
• Meccanizzazione: l’uso di risorse Cloud può ridurre di un fattore 1.4-2 il consumo energetico.