Passa al contenuto principale

Visualizza come Markdown

Contenuto convertito in Markdown. Usa il link alla pagina originale in fondo per esplorare i grafici interattivi.

Guida rapida a termini e formule

Quando leggi una formula, chiediti prima cosa calcola, poi identifica ogni simbolo e infine prova con numeri piccoli. Questa pagina spiega concetti comuni dei fondamenti di RL. I capitoli su MDP e differenza temporale includono spiegazioni espandibili accanto alle formule principali. Segui il link di un termine e usa Indietro nel browser per riprendere la lettura. Questa guida è in italiano; i capitoli collegati possono essere ancora in cinese, come indicato dall'avviso nella pagina.

Come leggere i simboli​

SimboloCome leggerloPiccolo esempio
Stato attuale, azione attuale, ricompensa ricevuta dopoUn robot arriva a un incrocio, gira a destra e riceve ricompensa
Somma i termini nell'intervallo indicato
Peso di sconto dopo passi
Media degli esiti pesata con le loro probabilitàEsiti equiprobabili hanno valore atteso
Probabilità dell'azione , dato lo stato La barra significa “dato”, non divisione
Sostituisci il valore a sinistra con il risultato a destra aumenta di
/ Punteggio massimo / opzione che lo ottieneSinistra vale , destra : massimo , opzione migliore destra
Una stima, parametri del modelloIl cappello indica una stima; può indicare i pesi della rete della politica

La stessa lettera può cambiare significato tra capitoli. Negli MDP, è una ricompensa; in PPO, è un rapporto di probabilità tra politica nuova e precedente. Leggi prima la definizione accanto alla formula.

Stati, osservazioni e MDP​

Lo stato (state) contiene le informazioni necessarie alla previsione; l'osservazione (observation) contiene ciò che i sensori misurano. Una foto mostra la posizione di una palla, ma non necessariamente la direzione in cui rotola. Anche la velocità può far parte dello stato.

Un MDP (processo decisionale di Markov) organizza un compito in stati , azioni , regole di transizione , regole di ricompensa e fattore di sconto . È un modello del problema, non una particolare rete neurale: quali informazioni sono disponibili, cosa si può fare, cosa succede dopo e cosa conta come un buon risultato?

La proprietà di Markov richiede che, dati stato e azione attuali, la storia passata non aggiunga informazioni necessarie a prevedere lo stato successivo. Un POMDP descrive l'osservabilità parziale, per esempio con informazioni nascoste. Aggiungere fotogrammi precedenti può migliorare l'osservazione, ma non garantisce di ricostruire lo stato completo.

Torna al capitolo: definizione di MDP, proprietà di Markov.

Ricompense, ritorni e sconto​

La ricompensa (reward) è il feedback di un passo; il ritorno (return) è la somma delle ricompense future dal momento attuale, eventualmente scontate. Un robot può ricevere per ogni passo avanti e all'arrivo. La ricompensa di un passo e il ritorno dell'intero percorso sono quantità diverse.

Il fattore di sconto (discount factor) determina quanto contano oggi le ricompense future. Supponiamo che le prossime due ricompense siano , poi l'episodio termini, con :

Il ritorno dal passo successivo è , quindi possiamo anche scrivere . Dopo la terminazione non ci sono ricompense e poniamo . Nei compiti a orizzonte infinito si usa comunemente con ricompense limitate per garantire un ritorno finito; negli episodi finiti si può usare anche .

Torna al capitolo: ritorni e forma ricorsiva.

Politiche, valori attesi e funzioni di valore​

Una politica (policy) è una regola per scegliere le azioni. Con azioni discrete, significa una probabilità del di scegliere nello stato . Le azioni continue sono solitamente descritte da densità di probabilità: la densità in un punto non è la probabilità di scegliere esattamente quell'azione.

Il valore atteso (expectation) è una media pesata con le probabilità, non un risultato desiderato o garantito in una singola esecuzione.

  • Valore dello stato : partendo da qui e seguendo , quale ritorno otteniamo in media?
  • Valore dell'azione : partendo da qui, eseguendo prima e poi seguendo , quale ritorno otteniamo in media?

Se sinistra e destra hanno valori pari a e la politica sceglie ciascuna con probabilità un mezzo, allora . È una media secondo la politica, non il massimo .

Torna al capitolo: politiche e valori.

Equazione di Bellman​

L'equazione di Bellman divide il totale futuro medio in “un passo immediato + la media del futuro rimanente”:

Per una politica fissa, si fa la media sia sulle possibili azioni sia sui possibili stati successivi, usando le loro probabilità. L'equazione collega valori attesi; una singola traiettoria che finisce in una buca può comunque ottenere molto meno della media.

Torna al capitolo: equazioni di Bellman, da Bellman all'obiettivo TD.

Bootstrapping, obiettivi TD e tasso di apprendimento​

In questo contesto, bootstrapping significa aggiornare una stima usando un'altra stima. Prima di completare un percorso, usi la stima per la prossima tappa per migliorare quella della tappa attuale. È diverso dal ricampionamento bootstrap in statistica.

L'obiettivo TD è la ricompensa osservata più la stima scontata dello stato successivo. L'errore TD è questo obiettivo meno la stima attuale. Il tasso di apprendimento determina quanto avvicinarsi all'obiettivo:

Con una vecchia stima di , un obiettivo di e , la nuova stima è . Il tasso di apprendimento e lo sconto sono diversi: controlla l'aggiornamento, pesa le ricompense future. Non si applica bootstrapping dopo una vera terminazione; in caso di interruzione per limite di tempo, la scelta dipende dalla definizione di terminazione del compito.

Torna al capitolo: calcolo di un aggiornamento TD.

On-policy e off-policy​

La politica di comportamento (behavior policy) raccoglie i dati. La politica obiettivo (target policy) viene valutata o migliorata. Se coincidono, l'apprendimento è on-policy; se differiscono, è off-policy.

Sarsa usa il valore dell'azione effettivamente scelta al passo successivo. Q-learning usa il massimo valore stimato delle azioni successive, anche se l'esplorazione ne ha scelta un'altra. La distinzione riguarda quale comportamento si apprende, non l'uso di reti neurali.

Torna al capitolo: Q-learning e Sarsa, on-policy e off-policy.

Actor, Critic e vantaggio​

L'Actor sceglie le azioni; il Critic stima il valore. Puoi pensarli come una parte che decide e una che assegna punteggi, ricordando però che i punteggi del Critic sono stime apprese, non risposte esatte.

La funzione di vantaggio (advantage) indica quanto un'azione sia migliore della media della politica attuale in quello stato: . Un valore dell'azione di e dello stato di danno vantaggio ; un valore negativo indica un risultato sotto il riferimento. In PPO, è una stima del vantaggio, non una ricompensa immediata.

Continua a leggere: Actor-Critic, PPO.

Rapporti di probabilità e clipping in PPO​

Il rapporto di probabilità confronta politica nuova e precedente sulla stessa azione. Se la probabilità di un'azione discreta passa da a , il rapporto è ; per azioni continue si confrontano densità.

Il clipping limita gli incentivi nell'obiettivo surrogato. Con vantaggio , e rapporto , l'obiettivo PPO-Clip per questo campione è . Aumentare ancora il rapporto non aumenta il contributo del campione all'obiettivo.

Con vantaggio negativo, si limita il beneficio derivante dalla riduzione eccessiva della probabilità dell'azione. Non ignorare il e non interpretare il clipping come un blocco di tutte le probabilità in un intervallo fisso. Il clipping non garantisce che politica nuova e precedente rimangano vicine.

Continua a leggere: obiettivo Clip di PPO.

Riferimenti per approfondire​