4 月 8 日消息，Meta 公司的一位高管出面澄清了一則關(guān)于公司新 AI 模型的不實(shí)傳言。該傳言聲稱 Meta 在其新推出的 Llama 4 Maverick 和 Llama 4 Scout 模型上存在不當(dāng)行為，即通過在特定基準(zhǔn)測試的“測試集”上進(jìn)行訓(xùn)練來提升模型的測試表現(xiàn)，同時(shí)隱藏模型的不足之處。

Meta 公司生成式人工智能副總裁艾哈邁德?阿爾?達(dá)赫勒（Ahmad Al-Dahle）在社交平臺 X 上發(fā)表聲明稱，這種說法“根本不屬實(shí)”。

在人工智能領(lǐng)域，測試集是用于在模型訓(xùn)練完成后評估其性能的數(shù)據(jù)集合。如果在測試集上進(jìn)行訓(xùn)練，可能會人為地提高模型的基準(zhǔn)測試分?jǐn)?shù)，從而使模型看起來比實(shí)際更強(qiáng)大。

值得一提的是，Maverick 和 Scout 在某些任務(wù)上的表現(xiàn)不佳，以及 Meta 選擇使用未發(fā)布的實(shí)驗(yàn)版本 Maverick 來在基準(zhǔn)測試平臺 LM Arena 上獲得更好成績的決定，都為這一謠言提供了“燃料”。研究人員觀察到，可公開下載的 Maverick 與在 LM Arena 上托管的模型在行為上存在顯著差異。

阿爾?達(dá)赫勒承認(rèn)，部分用戶在使用不同云服務(wù)提供商提供的 Maverick 和 Scout 模型時(shí)，確實(shí)遇到了“質(zhì)量參差不齊”的情況。他解釋道：“由于我們在模型準(zhǔn)備好后就立即發(fā)布了，我們預(yù)計(jì)需要幾天時(shí)間才能讓所有公開的實(shí)現(xiàn)版本都調(diào)整到位。我們將繼續(xù)進(jìn)行錯(cuò)誤修復(fù)并與合作伙伴進(jìn)行對接。”