掘金 人工智能 08月06日
闹玩呢!首届大模型对抗赛,DeepSeek、Kimi第一轮被淘汰了
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

谷歌发起了首届大模型国际象棋对抗赛,吸引了包括 OpenAI 的 o4-mini 和 o3、DeepSeek 的 DeepSeek-R1、月之暗面的 Kimi K2 Instruct、Anthropic 的 Claude Opus 4、xAI 的 Grok 4 以及谷歌的 Gemini 2.5 Pro 和 Gemini 2.5 Flash 等多家顶尖大模型参与。比赛在 Kaggle Game Arena 平台上进行,旨在评估模型在动态竞争环境下的表现。首轮比赛结果显示,Gemini 2.5 Pro、o4-mini、Grok 4 和 o3 以 4-0 的战绩分别击败对手,成功晋级半决赛。比赛规则禁止模型调用国际象棋引擎。文章详细分析了各对局情况,特别是 Kimi k2 在开局后出现的技术问题,以及 Grok 4 在捕捉无保护棋子方面的突出表现,暗示其可能已突破了模型在棋盘视觉化和棋子互动理解上的普遍短板。

🏆 **Grok 4 领跑,多模型强势晋级半决赛:** 在首届大模型国际象棋对抗赛的首轮比赛中,Grok 4 以 4-0 的完美战绩击败 Gemini 2.5 Flash,表现最为亮眼,被认为是夺冠热门。同时,Gemini 2.5 Pro、o4-mini 和 o3 也均以 4-0 的比分获胜,成功晋级半决赛,展现了其在国际象棋对弈方面的强大实力。

💡 **Kaggle Game Arena 创新赛制:** 本次比赛在 Kaggle Game Arena 平台上进行,旨在跳出传统的基准测试框架,通过动态和竞争性的环境来评估大型语言模型(LLM)的表现。比赛规则禁止模型调用 Stockfish 等国际象棋引擎,以更真实地反映模型自身的棋力。

📉 **Kimi k2 暴露开局后技术短板:** 月之暗面的 Kimi K2 Instruct 在对阵 o3 的比赛中,虽然在开局阶段能遵循棋谱理论,但在脱离熟悉的开局理论后,出现了技术问题,甚至在识别棋盘局势后仍无法给出合法着法,似乎存在记忆混乱。这表明模型在处理复杂局面和记忆棋子走法规则方面仍有提升空间。

🤖 **o4-mini 与 DeepSeek R1 对局的“断崖式下跌”:** OpenAI 的 o4-mini 与 DeepSeek R1 的对局呈现出前几步棋高水平,但随后棋局质量突然断崖式下跌的特点。尽管如此,o4-mini 成功实现了两次将军,显示了其在准确把握整个棋盘状态方面的挑战与进步。

❓ **Gemini 2.5 Pro 胜利的潜在影响因素:** Gemini 2.5 Pro 以 4-0 战胜 Claude 4 Opus,但文章指出,其胜利在多大程度上得益于 Claude 4 Opus 的失误表现尚不明确。其中一局,Gemini 2.5 Pro 在拥有巨大子力优势的情况下,在完成将杀过程中仍出现了送子情况,这为评估其真实棋力留下了疑问。

🚀 **Grok 4 或已突破模型对弈瓶颈:** 文章认为 Grok 4 的出色表现,特别是其精准捕捉无保护棋子的能力,可能意味着它成功突破了当前大语言模型在全局棋盘视觉化、棋子间互动关系理解以及合法着法执行方面的普遍短板。其创始人埃隆·马斯克也再次提及“国际象棋太过简单”的观点,间接呼应了 Grok 4 的超常表现。

从目前战况来看,Grok 4 是夺冠热门。

在玩游戏方面,到底哪个模型最厉害?为了回答这个问题,谷歌近日发起了首届大模型国际象棋对抗赛。

这场比赛为期三天,参赛选手包括:  

刚刚,我们拿到了第一轮比赛的结果:Gemini 2.5 Pro、o4-mini、Grok 4 和 o3 均以 4-0 的战绩分别击败 Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash 和 Kimi k2,晋级半决赛。

以下是模型对阵图。

这个比赛是在一个名叫「Kaggle Game Arena」的平台上进行的。这是 Kaggle 公司的一个新项目,旨在跳出平时的基准测试框架,探索像 Gemini、DeepSeek 等 LLM 在动态和竞争环境中表现如何。

在昨天的报道中,我们详细描述了这场比赛的规则,比如不允许模型调用 Stockfish 等国际象棋引擎。(详情请参见《谷歌约战,DeepSeek、Kimi 都要上,首届大模型对抗赛明天开战》)

以下是对战的详细信息:

Kimi k2 对阵 o3:0-4

Kimi k2 与 o3 的对局较早结束,四局比赛都在八步棋内完成。由于 Kimi k2 连续四次未能找到合法着法而被判负,o3 获得了全胜。 

不过需要说明的是,与 o3 对战的 Kimi K2 Instruct 为非推理模型,打不过 o3 也在预料之中。

虽然 Kimi k2 未能获胜,但这场比赛也为我们提供了有价值的观察。从 Kimi k2 的走棋注释来看,它在开局阶段能够遵循棋谱理论行棋。然而,一旦脱离了熟悉的开局理论,技术问题就开始显现 —— 而对 Kimi k2 来说,这个转折点来得较早。

Kimi k2 遇到困难的具体原因还需要进一步分析。在某些时候,它能清楚看到棋子的位置,却似乎忘记了棋子的走法。

在这一次对局中,Kimi k2 完整识别了棋盘局势,却依然无法给出合法着法,似乎对棋子的走法规则出现了记忆混乱。

在其他对局中,它在局面识别上也存在一些技术问题。

凭借这场胜利,o3 顺利晋级半决赛,与 o4 mini 对战。 

DeepSeek R1 对阵 o4-mini:0-4

OpenAI 的 o4-mini 与 DeepSeek R1 之间的对局呈现出了独特的特点。如果单独观察每局比赛的前几步棋,你可能会以为这是两位高手在过招。然而对局进行到某个阶段后,棋局质量就会突然断崖式下跌。

这一现象在整场比赛中反复出现:几步不错的开局之后,会出现判断偏差和一系列失误。

尽管如此,o4-mini 在这场比赛中成功实现了两次将军 —— 这是一个值得注意的成就,考虑到对 AI 系统来说,准确把握整个棋盘状态本身就具有相当的挑战性。

Gemini 2.5 Pro 对阵 Claude 4 Opus:4-0

Gemini 2.5 Pro 与 Claude 4 Opus 的对局是本次比赛中唯一一个通过「将杀」获胜的场次多于因违规行棋告负的场次的比赛。不过,目前尚不清楚 Gemini 2.5 Pro 的真实棋力究竟如何,也不确定其胜利在多大程度上得益于 Claude 4 Opus 的失误表现。

这场比赛第四局出现了一个耐人寻味的局面:Gemini 2.5 Pro 当时拥有 32 分的子力优势,棋盘上甚至有两个后。然而尽管火力全开,它在完成将杀的过程中仍然出现了送子的情况。

但更值得分析的是本场比赛的第一局。前九个回合,双方 AI 都表现稳健,着法精妙。然而就在此时,执黑的 Claude 4 Opus 做出了一个草率的决定,走 10...g5。这步棋不仅白送一兵,还彻底破坏了己方王城的安全,直接加速了败局的到来。从双方 AI 的赛后评注中,我们可以看出一些端倪:

Grok 4 对阵 Gemini 2.5 Flash:4-0

今日表现最为亮眼的当属 Grok 4。除了以全胜战绩收获 4 分外,其棋艺水平也堪称目前最佳。虽然对手 Gemini 2.5 Flash 多次失误送子确实降低了比赛难度,但与其他 AI 不同的是,Grok 4 展现出了精准捕捉无保护棋子的能力,并能果断实施打击。

Grok 4 的出色表现甚至引起了科技界的关注,其创始人埃隆・马斯克在 X 平台简短互动时,再次提及他那个著名观点 ——「国际象棋太过简单」。

截至目前,大语言模型在象棋对弈中暴露出三大关键短板:全局棋盘视觉化能力不足、棋子间互动关系理解有限,以及由此引发的合法着法执行问题。而 Grok 4 的出色表现证明,它似乎成功突破了这些限制。

这些 AI 模型的优势与缺陷能否在后续赛事中保持稳定?我们还要看明天的半决赛成绩。

文章中提及的棋局在线上国际象棋对弈网站 chess.com 中均有详细描述,感兴趣的读者可以参见以下链接:www.chess.com/news/view/k…

国际象棋大师 Levy Rozman 也在最新录制的视频中对这场比赛进行了讲解。

我们曾在昨天的报道中发起了一个投票,目前已有近 4000 位读者参与。从目前的数据看,大家此前最看好的是 Gemini 2.5 Pro—— 赢得了超过 37% 的票数。

现在,第一天的比赛结果已经出炉,我们也稍微了解了各个模型的表现,不知道大家的想法有无变化呢?  

参考链接:www.chess.com/news/view/k…

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

大模型 国际象棋 AI对弈 Grok 4 Gemini 2.5 Pro
相关文章