Điện toán huấn luyện giảm hơn nghìn lần, cụ thể điều gì đã được cải thiện?

  • SuperMimic giảm đáng kể ngưỡng huấn luyện để kiểm soát chuyển động toàn thân của robot hình người: các tác giả bài báo cho biết sau ba giờ huấn luyện trên một GPU H100, hiệu suất của nó đã vượt mô hình đã công bố của SONIC. Mô hình SONIC sử dụng khoảng 21 nghìn giờ GPU để huấn luyện, tức mức giảm tính theo giờ GPU là hơn nghìn lần.
  • Hiệu suất theo dõi chuyển động cũng cải thiện cùng với việc giảm điện toán. Trong bài kiểm tra chuẩn gồm 129,514 chuyển động, SuperMimic thất bại 25 lần, còn SONIC thất bại 179 lần; SuperMimic đạt mức không thất bại sau khi huấn luyện bằng hai GPU trong 9.8 giờ. Sau đó, bộ điều khiển thực hiện động tác lăn ngang và lộn 360 độ trên robot Unitree G1 thực tế.

Vì sao thay đổi môi trường huấn luyện lại tiết kiệm được nhiều điện toán như vậy?

  • Phương pháp truyền thống để robot liên tục thử và sửa lỗi trong trình mô phỏng vật lý; thư viện chuyển động càng lớn thì nhu cầu điện toán càng cao. SuperMimic trước hết học cách một cơ thể chuyển động, sau đó cho bộ điều khiển luyện tập trong mô hình cơ thể này; các chuyển động khác nhau có thể dùng lại cùng một bộ quy luật của cơ thể.
  • Mức tiết kiệm đến từ cả tốc độ huấn luyện và hiệu quả học tập: ở kích thước lô phổ biến, luyện tập trong mô hình nhanh hơn trình mô phỏng hơn 10 lần. Mô hình cũng có thể trực tiếp cung cấp thông tin về hướng cần điều chỉnh chuyển động; riêng cơ chế này làm giảm số bước luyện tập cần thiết khoảng 64 lần.
  • Khi dữ liệu chuyển động tăng từ 1 giờ lên 264 giờ, sai số dự đoán của mô hình cơ thể vẫn ổn định, do đó nhu cầu điện toán phát sinh từ các chuyển động bổ sung tăng chậm hơn. Dựa trên điều này, Nomura cho rằng chìa khóa của tiến bộ là thay đổi nơi luyện tập, thay vì bổ sung dữ liệu.

Bước đột phá này còn cách robot đa năng bao xa?

  • So sánh “hơn nghìn lần” không hoàn toàn tương đồng: SuperMimic sử dụng ít dữ liệu chuyển động hơn, lượng dữ liệu của SONIC lớn gấp khoảng 2.3 lần, và SuperMimic sử dụng mẫu GPU mới hơn. Các tác giả bài báo cho rằng những khác biệt này không đủ để giải thích khoảng cách nghìn lần.
  • Kết quả chỉ giới hạn ở chuyển động cơ thể trên mặt phẳng, không bao gồm thao tác với vật thể hay địa hình phức tạp; mô hình cơ thể chỉ học từ dữ liệu mô phỏng, và các chuyển động trong bài kiểm tra chuẩn cũng là những chuyển động dùng để huấn luyện. Vì vậy, Nomura xem đây là tiến bộ của “tiểu não” trong kiểm soát chuyển động, với giới hạn năng lực vẫn ở cấp độ kiểm soát cơ thể.

Khi rào cản phần mềm chuyển động giảm xuống, ai có nhiều khả năng giữ được lợi thế hơn?

  • Khảo sát ngành của Nomura cho thấy khoảng 300 công ty Trung Quốc đã có thể cung cấp một chức năng kiểm soát chuyển động quan trọng, và lợi thế dẫn trước từ một đến hai năm của Unitree về phần cứng và kiểm soát chuyển động có thể đang thu hẹp. Khi việc huấn luyện tiếp tục được đơn giản hóa, ngân hàng này cho rằng năng lực cạnh tranh của Unitree sẽ phụ thuộc nhiều hơn vào chi phí và quy mô.
  • Khả năng tái sử dụng phần mềm trên quy mô lớn phụ thuộc vào việc cơ thể robot có đủ đồng nhất hay không. Biến thiên hiệu chuẩn khớp trong mô phỏng của bài báo chỉ là ±0.01 radian; Nomura ước tính rằng nếu đặc tính chuyển động của hơn 20 khớp không đồng đều, cùng một bộ mã học tăng cường có thể chỉ phù hợp với một số ít máy.
  • Theo ước tính của Nomura, bộ truyền động chiếm khoảng 50%–75% chi phí linh kiện của robot hình người. Ngân hàng này đánh giá cao hơn các nhà sản xuất robot hoàn chỉnh và nhà cung cấp chủ chốt có khả năng kiểm soát tính đồng nhất, đồng thời cho rằng Unitree có lợi thế hơn các công ty mô hình tự xây dựng phần cứng vì kinh nghiệm sản xuất hàng loạt cần nhiều năm tích lũy. Yếu tố gắn với lợi ích là sự ổn định trong sản xuất, thay vì chỉ đơn thuần sở hữu thuật toán chuyển động.