10 月 10 日消息,字節(jié)跳動研究團隊最新推出了第二代機器人大模型 GR-2(Generative Robot2.0),其亮點在于創(chuàng)新構建“機器人嬰兒期”學習階段,模仿人類成長學習復雜任務,具備卓越的泛化能力和多任務通用性。字節(jié)跳動研究團隊推出的第二代機器人大模型 GR-2 具有諸多亮點:
- 訓練過程:
- 預訓練:和許多大模型一樣,GR-2 的訓練包括預訓練和微調(diào)兩個過程。在預訓練階段,GR-2 “觀看” 了多達 3800 萬個來自各類公開數(shù)據(jù)集的互聯(lián)網(wǎng)視頻,這些視頻涵蓋了家庭、戶外、辦公室等多種日常場景,這讓 GR-2 具備了學習多種操作任務和在多種環(huán)境中泛化的潛能,擁有了對世界的深刻理解。
- 微調(diào):在經(jīng)歷大規(guī)模預訓練后,通過在機器人軌跡數(shù)據(jù)上進行微調(diào),GR-2 能夠預測動作軌跡并生成視頻。這種能力提升了其動作預測的準確性,也為機器人的智能決策提供了新的方向。
- 任務表現(xiàn):
- 高成功率:在多任務學習測試中,GR-2 能夠完成 105 項不同的桌面任務,平均成功率高達 97.7%。
- 強泛化能力:其強大之處不僅在于能夠處理已知任務,更在于面對未知場景和物體時的泛化能力。無論是全新的環(huán)境、物體還是任務,GR-2 都能夠迅速適應并找到解決問題的方法。
- 實際應用突破:
- 端到端揀選:在實際應用中,GR-2 相比前一代的一個重大突破在于能夠端到端地完成兩個貨箱之間的物體揀選。無論是透明物體、反光物體、柔軟物體還是其他具有挑戰(zhàn)性的物體,GR-2 均能準確抓取,展現(xiàn)了其在工業(yè)領域和真實倉儲場景的巨大潛力。
不過,盡管 GR-2 在互聯(lián)網(wǎng)視頻上接受了大規(guī)模的預訓練,但真實世界動作數(shù)據(jù)的規(guī)模和多樣性仍然有限,這也是其未來需要改進的方向。總體而言,GR-2 預示著機器人大模型技術將爆發(fā)出巨大潛力和無限可能。ByteDance Research 提出機器人大模型,具備世界建模和強大泛化能力 |