Meta Llama-4-Maverick 模型评分暴跌,刷榜疑云再起
Meta Llama-4-Maverick 模型评分暴跌,刷榜疑云再起

Meta Llama-4-Maverick 模型评分暴跌,刷榜疑云再起

发布于: 全文约986字
Meta公司发布的开源大模型Llama-4-Maverick在LMArena排行榜上的排名从第二名骤降至第32名,引发开发者对Meta可能刷榜行为的质疑。经查,Meta提交的版本与公开的开源版本有显著差异,官方确认其为“特供版”。Meta解释称该模型针对对话进行了优化,但此优化导致开发者难以预测模型在不同场景的表现。Meta表示将继续探索定制版本,并重视开发者反馈。

近日,Meta 公司发布的开源大模型 Llama-4-Maverick 在 LMArena 的排行榜上从第二名直降至第32名,这一剧烈波动引发了开发者们的广泛质疑,认为 Meta 可能通过提交特供版本以刷榜。事情的起因要追溯到4月6日,Meta 发布了其最新的大模型 Llama4,包括 Scout、Maverick 和 Behemoth 三个版本。其中,Llama-4-Maverick 在初期的评估中表现亮眼,位列 LMArena 排行榜的第二名,仅次于 Gemini2.5Pro。

然而,随着开发者对 Llama4开源版的实际使用反馈逐渐披露,这款模型的声誉迅速下滑。一些开发者发现 Meta 提交给 LMArena 的版本与他们所公开的开源版本存在显著差异,这引发了对 Meta 是否存在刷榜行为的质疑。针对这一问题,Chatbot Arena 官方于4月8日确认,Meta 提供的确实是一个 “特供版”,并表示将考虑更新排行榜。

图源备注:图片由AI生成,图片授权服务商Midjourney

根据 Chatbot Arena 的说法,Meta首次提交的 Llama-4-Maverick-03-26-Experimental 是一个实验性优化版本,这个版本当时排名第二。而修正后的开源版 Llama-4-Maverick-17B-128E-Instruct,虽然拥有17B 的激活参数和128个 MoE 专家,排名却仅为32名,远远落后于 Gemini2.5Pro、GPT4o 等更高排名的模型,甚至不及基于上一代模型改造的 Llama-3.3-Nemotron-Super-49B-v1。

对于 Llama-4-Maverick-03-26-Experimental 为何表现不如预期,Meta 在最近的一次发布会上解释称,该模型是 “专门针对对话进行优化” 的,因此在 LM Arena 上的表现相对较好。这种优化虽然在排行榜上取得了高分,但也使得开发者们在不同场景下难以准确预测该模型的实际表现。

Meta 发言人向 TechCrunch 表示,Meta 会继续探索各种定制版本,并期待开发者根据自己的需求对 Llama4进行调整和改进。公司希望看到开发者们的创造性成果,同时也重视他们的反馈。

Llama-4-Maverick Meta LMArena 大模型
Sitemap.xml
© 2025 Juhe.ai
西安指尖漫步科技有限公司