Meta 公司的一位高管出面澄清了一則關(guān)于公司新 AI 模型的不實(shí)傳言。該傳言聲稱(chēng) Meta 在其新推出的 Llama 4 Maverick 和 Llama 4 Scout 模型上存在不當(dāng)行為，即通過(guò)在特定基準(zhǔn)測(cè)試的“測(cè)試集”上進(jìn)行訓(xùn)練來(lái)提升模型的測(cè)試表現(xiàn)，同時(shí)隱藏模型的不足之處。
Meta 公司生成式人工智能副總裁艾哈邁德 阿爾 達(dá)赫勒（Ahmad Al-Dahle）在社交平臺(tái) X 上發(fā)表聲明稱(chēng)，這種說(shuō)法“根本不屬實(shí)”。
在人工智能領(lǐng)域，測(cè)試集是用于在模型訓(xùn)練完成后評(píng)估其性能的數(shù)據(jù)集合。如果在測(cè)試集上進(jìn)行訓(xùn)練，可能會(huì)人為地提高模型的基準(zhǔn)測(cè)試分?jǐn)?shù)，從而使模型看起來(lái)比實(shí)際更強(qiáng)大。
值得一提的是，Maverick 和 Scout 在某些任務(wù)上的表現(xiàn)不佳，以及 Meta 選擇使用未發(fā)布的實(shí)驗(yàn)版本 Maverick 來(lái)在基準(zhǔn)測(cè)試平臺(tái) LM Arena 上獲得更好成績(jī)的決定，都為這一謠言提供了“燃料”。研究人員觀察到，可公開(kāi)下載的 Maverick 與在 LM Arena 上托管的模型在行為上存在顯著差異。
阿爾 達(dá)赫勒承認(rèn)，部分用戶在使用不同云服務(wù)提供商提供的 Maverick 和 Scout 模型時(shí)，確實(shí)遇到了“質(zhì)量參差不齊”的情況。他解釋道：“由于我們?cè)谀Ｐ蜏?zhǔn)備好后就立即發(fā)布了，我們預(yù)計(jì)需要幾天時(shí)間才能讓所有公開(kāi)的實(shí)現(xiàn)版本都調(diào)整到位。我們將繼續(xù)進(jìn)行錯(cuò)誤修復(fù)并與合作伙伴進(jìn)行對(duì)接。” 
