Khi các mô hình hàng đầu của ba gã khổng lồ AI là OpenAI, Anthropic và Google cùng so tài, ai sẽ điều khiển robot giỏi hơn?
Ngày 20 tháng 10, RoboColiseum - đấu trường embodied do gần 20 trường đại học, doanh nghiệp và viện nghiên cứu hàng đầu toàn cầu như Mifeng Technology, Hugging Face, NVIDIA, Đại học Thanh Hoa cùng đồng sáng lập - đã công bố kết quả đánh giá vòng này: Claude Opus 5.5 đứng đầu toàn diện trong bốn mô hình hàng đầu, GPT-6 Astra theo ngay sau.
Xét theo từng hạng mục, trong bốn mô hình hàng đầu, GPT-6 Astra dẫn đầu về tuân thủ chỉ dẫn và khả năng thích ứng với nhiễu loạn tổng thể, trong đó điểm tuân thủ chỉ dẫn đạt 99,35; Opus thể hiện tốt hơn về hiểu không gian và thao tác tổng quát, đồng thời giành vị trí số một toàn diện nhóm hàng đầu với mức tiêu thụ token đánh giá toàn vòng thấp nhất. Trong bài kiểm tra bị nhiễu loạn chất lượng hình ảnh, GPT-6.1 Sol tụt lại rõ rệt so với ba mô hình còn lại, cho thấy sự khác biệt về độ ổn định của các mô hình khác nhau khi đối mặt với thay đổi thông tin thị giác.
Tuy nhiên, hai vị trí dẫn đầu bảng xếp hạng tổng hợp vòng này vẫn thuộc về các mô hình chiến lược embodied, đặc biệt duy trì lợi thế ở chiều kích thao tác tổng quát.
Cuộc so tài cùng sân này cung cấp tham khảo trực quan để ngành nhìn rõ ưu thế và điểm yếu về năng lực giữa mô hình lớn tổng quát và mô hình chiến lược embodied.
RoboColiseum xoay quanh tuân thủ chỉ dẫn, hiểu không gian, thích ứng nhiễu loạn và thao tác tổng quát, ra mắt bốn bảng xếp hạng phụ về năng lực, 78 nhiệm vụ đánh giá mô phỏng độ trung thực cao, vừa trình bày hiệu suất từng hạng mục của mô hình, vừa ghi lại các bước hoàn thành nhiệm vụ và vị trí thất bại, giúp nhà phát triển nhanh chóng xác định điểm yếu năng lực của mô hình.
Với vai trò đồng sáng lập, Mifeng cung cấp cho RoboColiseum tài sản vật thể độ trung thực cao và cảnh mô phỏng, hỗ trợ xây dựng môi trường đánh giá cho các nhiệm vụ thao tác robot phức tạp, đồng thời cung cấp tài nguyên nền tảng cho việc kiểm thử năng lực mô hình dưới các điều kiện tương tác vật thể, bố cục không gian và môi trường khác nhau.
Liệu thành tích của mô hình trong mô phỏng có phản ánh được hiệu suất thao tác thực tế hay không cũng là điểm then chốt của đánh giá. Theo kết quả thực đo do nền tảng công bố, mức tương quan giữa đánh giá mô phỏng của RoboColiseum và triển khai trên máy thật đạt 89,5%, chênh lệch đánh giá của cùng một mô hình giữa mô phỏng và thế giới thực nhỏ hơn 10%, có thể cung cấp tham khảo cho việc sàng lọc mô hình và xác định vấn đề trước khi nhà phát triển bước vào kiểm thử máy thật.
Mifeng Technology cung cấp hệ thống cung ứng dữ liệu "đầy đủ, chất lượng tốt và nhanh chóng", bao phủ ba mô thức dữ liệu lớn: máy thật, mô phỏng và không có thân thể. Về mô phỏng, Mifeng cung cấp hai loại tài nguyên là tài sản vật thể và tài sản môi trường, bao phủ nhiều loại đồ vật hàng ngày và cảnh trong nhà, đồng thời cung cấp các năng lực như tái tạo cảnh, thu thập dữ liệu quỹ đạo chuyên gia và trực quan hóa kết quả đánh giá, giúp nhóm mô hình triển khai huấn luyện và đánh giá đa dạng.
Coliseum vốn chỉ đấu trường hình tròn của La Mã cổ đại, RoboColiseum lấy hình ảnh này để xây dựng hệ thống đánh giá có hệ thống đa chiều, với đánh giá mô phỏng có độ nhất quán cao với hiệu suất máy thật, dựng lên một "đấu trường" và "sân huấn luyện" công khai, trung lập, có thể tái lập cho mô hình trí tuệ embodied. Bất kỳ trường đại học, viện nghiên cứu hoặc nhà phát triển doanh nghiệp nào cũng có thể nộp mô hình của mình lên để trải qua một bộ "bài thi" chuẩn hóa. Kể từ khi ra mắt vào tháng 8, đã có hơn 100 đội trong và ngoài nước triển khai huấn luyện và đánh giá mô hình trên nền tảng.
RoboColiseum hiện đã mở cửa cho nhà phát triển toàn cầu, hoan nghênh các nhóm mô hình tham gia đánh giá.
