字節(jié)跳動研究團隊最新推出了第二代機器人大模型 GR-2(Generative Robot2.0),其亮點在于創(chuàng)新構(gòu)建“機器人嬰兒期”學習階段,模仿人類成長學習復(fù)雜任務(wù),具備卓越的泛化能力和多任務(wù)通用性。
GR-2 模型和其它很多 AI 模型一樣,包括預(yù)訓練和微調(diào)兩個過程。
在預(yù)訓練階段,GR-2“觀看”了多達 3800 萬個來自各類公開數(shù)據(jù)集的互聯(lián)網(wǎng)視頻以及 500 億個 tokens,涵蓋了家庭、戶外、辦公室等多種日常場景,讓 GR-2 具備在后續(xù)策略學習中跨越廣泛機器人任務(wù)和環(huán)境的泛化能力。
在微調(diào)階段,團隊使用機器人軌跡微調(diào)了視頻生成和動作預(yù)測,展現(xiàn)出卓越的多任務(wù)學習能力,在超過 100 個任務(wù)中實現(xiàn)了平均成功率 97.7%。
此外,GR-2 在新穎、之前未見的場景中表現(xiàn)出色的泛化能力,包括新的背景、環(huán)境、物體和任務(wù)。