Saltar al contenido principal

Ver como Markdown

Contenido convertido a Markdown. Usa el enlace a la página original al final para explorar los gráficos interactivos.

Proyectos: de la simulación a los robots reales

Elige una tarea y recorre entorno, entrenamiento, control y evaluación con un proyecto, una demo o una reproducción. Sigue capítulos para construir un sistema o un experimento independiente para probar un método. Consulta los fundamentos para los principios y los recursos para artículos, datos y código.

Por dónde empezar​

  • Desde cero: el proyecto de cuadrúpedos tiene ocho capítulos de actuadores, cinemática, modelado, marchas y políticas. Necesitas Python básico; puedes aprender control y álgebra lineal durante la práctica.
  • Datos y hardware de brazos: apuntes LeRobot en chino, unidades 0–2 y Python básico, después SO-101, que requiere un robot compatible.
  • Primera simulación: MicroDuck RL o ACT bimanual, preparando su entorno.
  • Equilibrio de bípedos con ruedas: avance de Flamingo, con requisitos y experimentos previstos.

Comprueba entorno y objetivos antes de empezar. Conserva código, parámetros y resultados, y analiza evaluaciones y fallos. Los capítulos de los proyectos están actualmente en chino; los estados siguientes describen ese contenido original.

Direcciones​

DirecciónProyectosAdecuada para
Brazos5VLA, datos e imitación
Cuadrúpedos4Refuerzo, control y sim-to-real
Bípedos y humanoides1 disponible, 2 previstosControl avanzado, refuerzo y planificación
Manipulación móvil3Navegación y manipulación
Bípedos con ruedasAvanceEquilibrio subactuado, Isaac Lab y validación entre simuladores

Proyectos disponibles​

Proyectos AMD​

  • AUP Learning Cloud: APU Ryzen AI, JupyterHub, Code Server y ROCm en el navegador para ejercicios, inferencia local y pequeños experimentos.
  • MicroDuck RL · AMD ROCm: compilar ROCm Warp y MuJoCo Warp en Radeon R9700, corregir la caché de broadphase dinámico y entrenar PPO bípedo.
  • ACT bimanual · AMD ROCm: BF16 en GPU Radeon, reanudar checkpoints, evaluar 20 episodios y exportar vídeos.
  • Explora Pupper: proyecto destacado con Pupper Locomotion para políticas RL y Pupper VLA para visión, lenguaje y acción.

Proyectos de simulación​

ProyectoRuta técnicaEstado
Cuadrúpedo desde ceroMuJoCo, PD, cinemática, marchas, políticas y percepciónResumen y 8 capítulos disponibles
MicroDuck RLmjlab, MuJoCo Warp, PPO paralelo en CUDA y 18 movimientosDisponible
Primeros pasos con MuJoCoMJCF, física y control PythonDisponible
DDPG InvertedPendulumControl continuo y referencia DDPGDisponible
DDPG ReacherSeguimiento de objetivos con brazo planoDisponible
DDPG PusherContacto y diseño de recompensasDisponible
ACT bimanualALOHA, imitación y evaluación multiepisodioDisponible
π₀.₅ + RECAP: LIBEROModelos de valor, ventajas, ACP y evaluación LIBERODisponible
Validación Sim2SimPolíticas entre simuladoresEn desarrollo
Flamingo · Isaac LabEquilibrio, refuerzo y validación entre simuladoresAvance del curso

Proyectos con robots reales​

LeRobot introduce datos y herramientas; SO-101 aplica lo aprendido a un brazo real.

ProyectoRuta técnicaEstado
LeRobot en chinoAprendizaje robótico, datos, herramientas y robótica clásicaUnidades 0–2 recopiladas
SO-101 + LeRobotConectividad, seguridad y reproducción de accionesDisponible
Control de brazos ROS2Control ROS2 y ejecuciónEn desarrollo
Guía Sim2RealDespliegue de políticas y validación realEn desarrollo