Meta 攜手斯坦福大學(xué)，推出全新 AI 模型系列 Apollo，顯著提升機(jī)器對視頻的理解能力。
注：盡管人工智能在處理圖像和文本方面取得了巨大進(jìn)步，但讓機(jī)器真正理解視頻仍然是一個(gè)重大挑戰(zhàn)。
視頻包含復(fù)雜的動態(tài)信息，人工智能更難處理這些信息，不僅需要更多的計(jì)算能力，而且如何設(shè)計(jì)最佳 AI 視頻解讀系統(tǒng)，也存在諸多困難。
在視頻處理方面，研究人員發(fā)現(xiàn)，保持每秒恒定的幀采樣率能獲得最佳結(jié)果。因此 Apollo 模型使用兩個(gè)不同的組件，一個(gè)處理單獨(dú)的視頻幀，而另一個(gè)跟蹤對象和場景如何隨時(shí)間變化。
此外，在處理后的視頻片段之間添加時(shí)間戳，有助于模型理解視覺信息與文本描述之間的關(guān)系，保持時(shí)間感知。
在模型訓(xùn)練方面，團(tuán)隊(duì)研究表明訓(xùn)練方法比模型大小更重要。Apollo 模型采用分階段訓(xùn)練，按順序激活模型的不同部分，比一次性訓(xùn)練所有部分效果更好。
此外 Meta 公司還不斷優(yōu)化數(shù)據(jù)組合，發(fā)現(xiàn) 10~14% 的文本數(shù)據(jù)，其余部分略微偏向視頻內(nèi)容，可以更好地平衡語言理解和視頻處理能力。
Apollo 模型在不同規(guī)模上均表現(xiàn)出色，較小的 Apollo-3B 超越了 Qwen2-VL 等同等規(guī)模的模型，而 Apollo-7B 超過更大參數(shù)的同類模型，Meta 已開源 Apollo 的代碼和模型權(quán)重，并在 Hugging Face 平臺提供公開演示。
