Penggunaan kuasa pengkomputeran untuk latihan pergerakan robot merosot mendadak. Mengapa Nomura lebih mementingkan keseragaman perkakasan?

Keperluan pengkomputeran latihan turun lebih seribu kali ganda. Apakah yang sebenarnya bertambah baik?

SuperMimic mengurangkan dengan ketara keperluan latihan bagi kawalan pergerakan seluruh badan robot humanoid: penulis kertas kajian menyatakan bahawa selepas tiga jam latihan pada satu GPU H100, prestasinya mengatasi model SONIC yang diterbitkan. Model SONIC menggunakan kira-kira 21 ribu jam GPU untuk latihan, menjadikan pengurangan berdasarkan jam GPU lebih seribu kali ganda.
Prestasi penjejakan pergerakan juga bertambah baik seiring dengan pengurangan pengkomputeran. Dalam ujian penanda aras yang melibatkan 129,514 pergerakan, SuperMimic gagal 25 kali dan SONIC gagal 179 kali; SuperMimic mencapai sifar kegagalan selepas dilatih pada dua GPU selama 9.8 jam. Pengawal itu kemudian melakukan guling sisi dan putaran 360 darjah pada robot sebenar Unitree G1.

Kaedah tradisional membolehkan robot berulang kali mencuba dan membetulkan kesilapan dalam simulator fizik; semakin besar pustaka pergerakan, semakin tinggi keperluan pengkomputeran. SuperMimic mula-mula mempelajari cara satu badan bergerak, kemudian membolehkan pengawal berlatih dalam model badan itu; pergerakan yang berbeza boleh menggunakan semula set aturan badan yang sama.
Penjimatan datang daripada kelajuan latihan dan kecekapan pembelajaran: pada saiz kelompok yang lazim, latihan dalam model lebih 10 kali lebih pantas daripada dalam simulator. Model itu juga boleh memberikan maklumat secara langsung tentang arah pelarasan yang diperlukan bagi sesuatu pergerakan; mekanisme ini sahaja mengurangkan bilangan langkah latihan yang diperlukan kira-kira 64 kali ganda.
Apabila data pergerakan meningkat daripada 1 jam kepada 264 jam, ralat ramalan model badan kekal stabil, maka keperluan pengkomputeran akibat pergerakan tambahan meningkat dengan lebih perlahan. Berdasarkan hal ini, Nomura berpendapat bahawa kunci kemajuan ialah mengubah tempat latihan, bukannya menambah data.

Perbandingan “lebih seribu kali ganda” bukan perbandingan yang sepenuhnya setara: SuperMimic menggunakan kurang data pergerakan, manakala jumlah data SONIC kira-kira 2.3 kali lebih besar, dan SuperMimic menggunakan model GPU yang lebih baharu. Penulis kertas kajian berpendapat perbezaan ini tidak mencukupi untuk menjelaskan jurang seribu kali ganda itu.
Hasilnya terhad kepada pergerakan badan di permukaan rata dan tidak melibatkan manipulasi objek atau rupa bumi yang kompleks; model badan belajar hanya daripada data simulasi, dan pergerakan dalam ujian penanda aras juga merupakan pergerakan latihan. Oleh itu, Nomura menganggapnya sebagai kemajuan pada “serebelum” kawalan pergerakan, dengan had keupayaannya masih pada tahap kawalan badan.

Tinjauan industri Nomura menunjukkan kira-kira 300 syarikat di China sudah mampu menyediakan satu fungsi kawalan pergerakan yang penting, dan kelebihan awal Unitree selama satu hingga dua tahun dalam perkakasan serta kawalan pergerakan mungkin semakin mengecil. Apabila latihan semakin mudah, bank itu berpendapat daya saing Unitree akan lebih bergantung pada kos dan skala.
Sama ada perisian boleh digunakan semula secara besar-besaran bergantung pada tahap keseragaman badan robot. Variasi penentukuran sendi dalam simulasi kertas kajian itu hanya ±0.01 radian; Nomura menganggarkan bahawa jika ciri pergerakan lebih daripada 20 sendi tidak seragam, kod pembelajaran pengukuhan yang sama mungkin hanya sesuai untuk beberapa mesin.
Menurut anggaran Nomura, penggerak merangkumi kira-kira 50%–75% daripada kos komponen robot humanoid. Bank itu lebih menyukai pengeluar robot lengkap dan pembekal utama yang mampu mengawal keseragaman, serta berpendapat Unitree lebih berkelebihan berbanding syarikat model yang membina perkakasan sendiri kerana pengalaman pengeluaran besar-besaran mengambil masa bertahun-tahun untuk dikumpulkan. Asas manfaatnya ialah kestabilan pembuatan, bukannya sekadar memiliki algoritma pergerakan.