强化学习与控制
In questa pagina
Guida rapida a termini e formule
Quando leggi una formula, chiediti prima cosa calcola, poi identifica ogni simbolo e infine prova con numeri piccoli. Questa pagina spiega concetti comuni dei fondamenti di RL. I capitoli su MDP e differenza temporale includono spiegazioni espandibili accanto alle formule principali. Segui il link di un termine e usa Indietro nel browser per riprendere la lettura. Questa guida è in italiano; i capitoli collegati possono essere ancora in cinese, come indicato dall'avviso nella pagina.
Come leggere i simboli
| Simbolo | Come leggerlo | Piccolo esempio |
|---|---|---|
| Stato attuale, azione attuale, ricompensa ricevuta dopo | Un robot arriva a un incrocio, gira a destra e riceve ricompensa | |
| Somma i termini nell'intervallo indicato | ||
| Peso di sconto dopo | ||
| Media degli esiti pesata con le loro probabilità | Esiti | |
| Probabilità dell'azione | La barra significa “dato”, non divisione | |
| Sostituisci il valore a sinistra con il risultato a destra | ||
| Punteggio massimo / opzione che lo ottiene | Sinistra vale | |
| Una stima, parametri del modello | Il cappello indica una stima; |
La stessa lettera può cambiare significato tra capitoli. Negli MDP,
Stati, osservazioni e MDP
Lo stato (state) contiene le informazioni necessarie alla previsione; l'osservazione (observation) contiene ciò che i sensori misurano. Una foto mostra la posizione di una palla, ma non necessariamente la direzione in cui rotola. Anche la velocità può far parte dello stato.
Un MDP (processo decisionale di Markov) organizza un compito in stati
La proprietà di Markov richiede che, dati stato e azione attuali, la storia passata non aggiunga informazioni necessarie a prevedere lo stato successivo. Un POMDP descrive l'osservabilità parziale, per esempio con informazioni nascoste. Aggiungere fotogrammi precedenti può migliorare l'osservazione, ma non garantisce di ricostruire lo stato completo.
Torna al capitolo: definizione di MDP, proprietà di Markov.
Ricompense, ritorni e sconto
La ricompensa (reward) è il feedback di un passo; il ritorno (return) è la somma delle ricompense future dal momento attuale, eventualmente scontate. Un robot può ricevere
Il fattore di sconto (discount factor)
Il ritorno dal passo successivo è
Torna al capitolo: ritorni e forma ricorsiva.
Politiche, valori attesi e funzioni di valore
Una politica (policy)
Il valore atteso (expectation) è una media pesata con le probabilità, non un risultato desiderato o garantito in una singola esecuzione.
- Valore dello stato
: partendo da qui e seguendo , quale ritorno otteniamo in media? - Valore dell'azione
: partendo da qui, eseguendo prima e poi seguendo , quale ritorno otteniamo in media?
Se sinistra e destra hanno valori
Torna al capitolo: politiche e valori.
Equazione di Bellman
L'equazione di Bellman divide il totale futuro medio in “un passo immediato + la media del futuro rimanente”:
Per una politica fissa, si fa la media sia sulle possibili azioni sia sui possibili stati successivi, usando le loro probabilità. L'equazione collega valori attesi; una singola traiettoria che finisce in una buca può comunque ottenere molto meno della media.
Torna al capitolo: equazioni di Bellman, da Bellman all'obiettivo TD.
Bootstrapping, obiettivi TD e tasso di apprendimento
In questo contesto, bootstrapping significa aggiornare una stima usando un'altra stima. Prima di completare un percorso, usi la stima per la prossima tappa per migliorare quella della tappa attuale. È diverso dal ricampionamento bootstrap in statistica.
L'obiettivo TD è la ricompensa osservata più la stima scontata dello stato successivo. L'errore TD è questo obiettivo meno la stima attuale. Il tasso di apprendimento
Con una vecchia stima di
Torna al capitolo: calcolo di un aggiornamento TD.
On-policy e off-policy
La politica di comportamento (behavior policy) raccoglie i dati. La politica obiettivo (target policy) viene valutata o migliorata. Se coincidono, l'apprendimento è on-policy; se differiscono, è off-policy.
Sarsa usa il valore dell'azione effettivamente scelta al passo successivo. Q-learning usa il massimo valore stimato delle azioni successive, anche se l'esplorazione ne ha scelta un'altra. La distinzione riguarda quale comportamento si apprende, non l'uso di reti neurali.
Torna al capitolo: Q-learning e Sarsa, on-policy e off-policy.
Actor, Critic e vantaggio
L'Actor sceglie le azioni; il Critic stima il valore. Puoi pensarli come una parte che decide e una che assegna punteggi, ricordando però che i punteggi del Critic sono stime apprese, non risposte esatte.
La funzione di vantaggio (advantage) indica quanto un'azione sia migliore della media della politica attuale in quello stato:
Continua a leggere: Actor-Critic, PPO.
Rapporti di probabilità e clipping in PPO
Il rapporto di probabilità
Il clipping limita gli incentivi nell'obiettivo surrogato. Con vantaggio
Con vantaggio negativo, si limita il beneficio derivante dalla riduzione eccessiva della probabilità dell'azione. Non ignorare il
Continua a leggere: obiettivo Clip di PPO.
Riferimenti per approfondire
- Sutton & Barto: Reinforcement Learning, An Introduction: i capitoli 3, 4 e 6 trattano MDP, equazioni di Bellman e apprendimento TD.
- OpenAI Spinning Up: Key Concepts in RL: definizioni formali di stati, politiche, ritorni, valori e vantaggi.
- OpenAI Spinning Up: PPO: rapporti di probabilità, obiettivo con clipping e relativi limiti.