英偉達(Nvidia)昨日(1 月 7 日)發(fā)布 Cosmos 平臺,由生成式世界基礎模型(WFMs)、高級分詞器(advanced tokenizers)、安全護欄和加速視頻處理管道組成,旨在推動開發(fā)自動駕駛汽車和機器人等物理 AI 系統(tǒng)。
英偉達表示開發(fā)物理 AI 模型的成本很高,并且需要大量的真實世界數據和測試。而 Cosmos 世界基礎模型(WFM)為開發(fā)人員提供了一種簡單的方法,可以生成大量基于物理的逼真合成數據,以訓練和評估其現有模型,開發(fā)人員還可以通過微調 Cosmos WFM 來構建自定義模型。
Cosmos 平臺模型已開放許可,開發(fā)人員可以在 NVIDIA API 目錄中預覽第一批模型,也可以從 NVIDIA NGC 目錄或 Hugging Face 下載模型系列和微調框架。
英偉達表示,1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和 XPENG,以及拼車巨頭 Uber 等成為首批使用 Cosmos 的公司。
援引英偉達官方新聞稿,附上 Cosmos 平臺應用場景如下:
視頻搜索和理解:輕松查找特定訓練場景,例如雪地路況或倉庫擁堵。
生成合成數據:基于物理學生成逼真的視頻數據。
模型開發(fā)和評估:構建自定義模型、改進模型或測試模型性能。