Passa al contenuto principale

Visualizza come Markdown

Contenuto convertito in Markdown. Usa il link alla pagina originale in fondo per esplorare i grafici interattivi.

Progetti: dalla simulazione ai robot reali

Scegli un compito e affronta ambiente, addestramento, controllo e valutazione con un progetto, una demo o una riproduzione. Segui capitoli per costruire un sistema o un esperimento autonomo per provare un metodo. Consulta i fondamenti per i principi e le risorse per articoli, dati e codice.

Da dove iniziare​

  • Da zero: il progetto sui quadrupedi ha otto capitoli su attuatori, cinematica, modellazione, andature e politiche. Serve Python di base; puoi imparare controllo e algebra lineare durante la pratica.
  • Dati e hardware dei bracci: dispense LeRobot in cinese, unità 0–2 e Python di base, poi SO-101, che richiede un robot compatibile.
  • Prima simulazione: MicroDuck RL o ACT bimanuale, configurando l'ambiente.
  • Equilibrio dei bipedi su ruote e validazione tra simulatori: il corso Flamingo · Isaac Lab guida in sei capitoli tra PPO parallelo, Constraints as Terminations (CaT), esportazione ONNX e test di robustezza in MuJoCo.

Verifica ambiente e obiettivi prima di iniziare. Conserva codice, parametri e risultati e analizza valutazioni e guasti. I capitoli dei progetti sono attualmente in cinese; gli stati seguenti descrivono quel contenuto originale.

Direzioni​

DirezioneProgettiAdatta a
Serie bracci robotici9 disponibili, 2 previstiControllo continuo, VLA, raccolta dati, imitazione e bracci reali
Serie quadrupedi3 disponibili, 2 previstiApprendimento per rinforzo, cinematica, andature, navigazione VLA e sim-to-real
Serie bipedi5 disponibili, 3 previstiFlamingo su Isaac Lab + CaT, PPO parallelo su GPU e curriculum multi-stadio
Manipolazione mobile3 previstiNavigazione e manipolazione

Progetti disponibili​

  • Flamingo · Isaac Lab: pipeline completa per un bipede su ruote a 8 gradi di libertà, con attuatori ritardati, PPO vs CaT su 4096 ambienti, fusione ONNX e test zero-shot in MuJoCo (panoramica e 6 capitoli).
  • MicroDuck RL: camminare, rialzarsi e rotolare: MJCF, attuatori BAM e registrazione dei compiti mjlab; 18 modalità di movimento con MuJoCo Warp e valutazione senza schermo tramite GIF e MP4.

Progetti AMD​

  • AUP Learning Cloud: APU Ryzen AI, JupyterHub, Code Server e ROCm nel browser per esercizi, inferenza locale e piccoli esperimenti.
  • MicroDuck RL · AMD ROCm: compilare ROCm Warp e MuJoCo Warp su Radeon R9700, correggere la cache del broadphase dinamico e addestrare PPO bipede.
  • ACT bimanuale · AMD ROCm: BF16 su GPU Radeon, ripresa dei checkpoint, valutazione di 20 episodi ed esportazione video.
  • Esplora Pupper: progetto di punta con Pupper Locomotion per politiche RL e Pupper VLA per visione, linguaggio e azione.

Progetti di simulazione​

ProgettoPercorso tecnicoStato
Quadrupede da zeroMuJoCo, PD, cinematica, andature, politiche e percezionePanoramica e 8 capitoli disponibili
Simulazione Petoi Quaddle con quattro servomotoriAdattamento dell'URDF ufficiale, controllo dal browser, andature periodiche e addestramento PPO residuoDisponibile
MicroDuck RLmjlab, MuJoCo Warp, PPO parallelo su CUDA e 18 movimentiDisponibile
Primi passi con MuJoCoMJCF, fisica e controllo PythonDisponibile
DDPG InvertedPendulumControllo continuo e riferimento DDPGDisponibile
DDPG ReacherInseguimento con braccio planareDisponibile
DDPG PusherContatto e progettazione delle ricompenseDisponibile
ACT bimanualeALOHA, imitazione e valutazione su più episodiDisponibile
π₀.₅ + RECAP: LIBEROModelli di valore, vantaggi, ACP e valutazione LIBERODisponibile
Navigazione VLA con Petoi QuaddleFine-tuning di SmolVLA, controllo CPG, temporal ensembling e decomposizione dei compitiDisponibile
Validazione Sim2SimPolitiche tra simulatoriIn sviluppo
Flamingo · Isaac LabEquilibrio a 8 DoF, PPO vs CaT, esportazione ONNX e test Sim2Sim in MuJoCoPanoramica e 6 capitoli disponibili

Progetti con robot reali​

LeRobot introduce dati e strumenti; SO-101 applica quanto appreso a un braccio reale.

ProgettoPercorso tecnicoStato
LeRobot in cineseApprendimento robotico, dati, strumenti e robotica classicaUnità 0–2 raccolte
SO-101 + LeRobotConnettività, sicurezza e riproduzione delle azioniDisponibile
Controllo bracci ROS2Controllo ROS2 ed esecuzioneIn sviluppo
Guida Sim2RealImpiego di politiche e validazione realeIn sviluppo