Вычислительные затраты на обучение снизились более чем в тысячу раз. Что именно улучшилось?

  • SuperMimic существенно снизила требования к обучению управлению движениями всего тела человекоподобного робота: авторы статьи утверждают, что после трёх часов обучения на одном GPU H100 её результаты превзошли опубликованную модель SONIC. На обучение последней потребовалось около 21 тыс. GPU-часов, поэтому сокращение в GPU-часах превышает тысячу раз.
  • Одновременно с сокращением вычислительных затрат улучшились и результаты отслеживания движений. В сравнительном тесте из 129,514 движений SuperMimic допустила 25 ошибок, а SONIC — 179; после обучения на двух GPU в течение 9.8 часа SuperMimic не допустила ни одной ошибки. Затем контроллер выполнил боковой перекат и переворот на 360 градусов на реальном роботе Unitree G1.

Почему смена среды обучения позволяет сэкономить столько вычислительных ресурсов?

  • Традиционные методы заставляют робота многократно учиться методом проб и ошибок в физическом симуляторе: чем больше библиотека движений, тем выше вычислительные потребности. SuperMimic сначала изучает, как движется одно и то же тело, а затем позволяет контроллеру практиковаться в этой модели тела; для разных движений можно повторно использовать один и тот же набор закономерностей движения тела.
  • Экономия достигается за счёт скорости обучения и его эффективности: при распространённых размерах пакета практика внутри модели более чем в 10 раз быстрее, чем в симуляторе. Модель также может напрямую предоставлять информацию о направлении корректировки движения; один только этот механизм сокращает необходимое число шагов практики примерно в 64 раз.
  • Когда объём данных о движениях вырос с 1 часа до 264 часов, ошибка прогнозирования модели тела оставалась стабильной, поэтому вычислительные потребности, связанные с дополнительными движениями, росли медленнее. На этом основании Nomura считает, что ключ к прогрессу — изменение места практики, а не увеличение объёма данных.

Насколько это достижение приближает создание универсальных роботов?

  • Сравнение «более чем в тысячу раз» не полностью сопоставимо: SuperMimic использовала меньше данных о движениях, объём данных SONIC был примерно в 2.3 раза больше, а SuperMimic использовала более новую модель GPU. Авторы статьи считают, что эти различия недостаточны для объяснения тысячекратного разрыва.
  • Результаты ограничены движениями тела на ровной поверхности и не охватывают манипулирование предметами и сложный рельеф; модель тела обучалась только на данных симуляции, а движения в сравнительном тесте также входили в обучающий набор. Поэтому Nomura рассматривает это как прогресс в «мозжечке» управления движением, при этом границы возможностей по-прежнему остаются на уровне управления телом.

Кто с большей вероятностью сохранит преимущество при снижении барьеров для программного обеспечения движения?

  • Отраслевое исследование Nomura показывает, что около 300 китайских компаний уже способны предоставлять одну из ключевых функций управления движением, а прежнее опережение Unitree на один-два года в оборудовании и управлении движением, возможно, сокращается. По мере дальнейшего упрощения обучения банк считает, что конкурентоспособность Unitree будет сильнее зависеть от затрат и масштаба.
  • Возможность массового повторного использования программного обеспечения зависит от того, насколько одинаковы тела роботов. Разброс калибровки суставов в симуляциях, описанных в статье, составлял лишь ±0.01 радиана; по оценке Nomura, если характеристики движения более чем 20 суставов неоднородны, один и тот же код обучения с подкреплением может подойти лишь небольшому числу машин.
  • По оценке Nomura, на приводы приходится около 50%–75% стоимости компонентов человекоподобного робота. Банк отдаёт предпочтение производителям готовых роботов и ключевым поставщикам, способным контролировать стабильность характеристик, и считает положение Unitree более выгодным по сравнению с компаниями, разрабатывающими модели и создающими собственное оборудование, поскольку опыт массового производства накапливается годами. Потенциальная выгода связана со стабильностью производства, а не просто с наличием алгоритмов движения.