5. Sfide principali

Dopo concetti, storia, abilità e corpi, questo capitolo presenta i problemi ancora aperti che motivano molta ricerca. Conoscerli aiuta a giudicare cosa risolve davvero un risultato e dove si applica.

5.1 Dati: scarsi, costosi e difficili da riutilizzare

I grandi modelli usano testo e immagini online, ma i dati robotici richiedono teleoperazione, dimostrazioni o interazione autonoma. Le circa 130.000 dimostrazioni di RT-1 furono raccolte con 13 robot in 17 mesi.

Sensori, azioni e frequenze differenti ostacolano il riuso tra robot. Conta anche la qualità: sincronizzazione tra osservazioni e azioni, unità e riferimenti coerenti e dimostrazioni fluide influenzano l'addestramento.

Approcci comuni: riunire dati di corpi diversi, come Open X-Embodiment; generare dati in simulazione; apprendere da video umani; usare modelli del mondo; migliorare teleoperazione e raccolta.

Nel sito: dataset e dispense LeRobot.

5.2 Il divario tra simulazione e realtà

La simulazione è sicura, economica e parallelizzabile, ma modella imperfettamente attrito, contatti, motori e ritardi. Rumore, errori di calibrazione e disallineamenti temporali non sono riprodotti completamente. Una politica efficace in simulazione può vibrare, slittare o cadere sull'hardware.

Approcci comuni: randomizzare massa, attrito e latenza nell'addestramento; identificare il sistema e modellare gli attuatori; addestrare un insegnante con informazioni privilegiate e distillarlo in uno studente con soli sensori di bordo; piccoli adattamenti sull'hardware; calibrazione e sincronizzazione dei sensori.

Nel sito: calibrazione dei sensori e sim2real.

5.3 Generalizzazione

Buoni risultati in addestramento non garantiscono successo su nuovi oggetti, ambienti, istruzioni o robot. Una politica di presa può peggiorare cambiando colore della tazza, illuminazione o posizione della telecamera.

Approcci comuni: dati più diversi; conoscenze semantiche di VLM preaddestrati, come RT-2 per istruzioni mai viste; apprendimento tra corpi; randomizzazione visiva e fisica.

Distingui riproduzione e generalizzazione: valutare compiti e ambienti di addestramento dimostra che sono stati appresi; provare oggetti e ambienti nuovi dimostra il trasferimento.

5.4 Compiti lunghi ed errori cumulativi

Piegare vestiti o riordinare una stanza richiede decine o centinaia di passi. Piccoli errori si accumulano; raggiungendo stati assenti nelle dimostrazioni, la politica può deviare sempre di più. È uno spostamento della distribuzione.

Approcci comuni: prevedere blocchi di azioni come ACT per ridurre le decisioni; suddividere il compito con un pianificatore superiore; rilevare guasti e recuperare; continuare a imparare dall'esperienza di impiego.

Nel sito: blocchi di azioni ACT e apprendimento online di π0.6.

5.5 Tempo reale e calcolo

L'inferenza di un grande modello può richiedere decine o centinaia di millisecondi; il controllo inferiore dispone spesso di pochi o decine di millisecondi. Calcolo, energia e raffreddamento sul robot sono limitati.

Approcci comuni: strati con decisioni lente di alto livello e controllori rapidi; blocchi di azioni ed esecuzione asincrona per continuare in attesa della previsione successiva; compressione e accelerazione dei modelli sul dispositivo.

Nel sito: esecuzione in tempo reale RTC.

5.6 Sicurezza e affidabilità

Gli errori fisici possono causare collisioni, schiacciamenti, cadute o danni. Le politiche apprese raramente offrono garanzie di sicurezza e i guasti sono difficili da spiegare. Un'applicazione deve funzionare a lungo, non solo riuscire in poche riprese di una demo.

Approcci comuni: limitare velocità, coppie e spazio di lavoro; rilevare collisioni e anomalie; mantenere un controllore convenzionale di riserva; validare prima in simulazione; supervisionare gli esperimenti reali e tenere accessibile l'arresto di emergenza.

Nel sito: SO-101 + LeRobot spiega collegamento e test di sicurezza.

5.7 Valutazione

Cambiare definizione di successo, condizioni iniziali, posizione degli oggetti o numero di prove può cambiare le conclusioni. Valutare robot reali richiede lavoro ed è difficile da riprodurre esattamente; mostrare solo la migliore esecuzione sovrastima le capacità.

Approcci comuni: benchmark pubblici come LIBERO; descrizione completa di condizioni e prove; separare risultati entro e fuori distribuzione; usare simulatori o modelli del mondo per ridurre il tempo di valutazione reale.

5.8 Le sfide sono collegate

La scarsità di dati porta alla simulazione e al suo divario con la realtà; generalizzare richiede diversità; i compiti lunghi mettono alla prova generalizzazione e tempo reale. Ogni progresso richiede valutazioni affidabili. Leggendo un risultato, chiediti quale sfida affronta, a quale costo e in quali condizioni è stato validato.

Riepilogo

• Dati scarsi, sim-to-real e generalizzazione sono problemi fondamentali.
• Compiti lunghi, tempo reale, calcolo, sicurezza e affidabilità determinano se un metodo esce dal laboratorio.
• Per giudicare i progressi, verifica condizioni di successo, numero di prove e distribuzioni di test.

Passi successivi

Continua con 6. Tecnologie e moduli e 7. Profili professionali, oppure scegli secondo il tuo obiettivo:

• Principi specifici: fondamenti.
• Costruire un sistema o provare un metodo: progetti.
• Articoli, dati e codice: risorse.