xAI近期发布了其最新的Grok系列模型：Grok 4和高级版Grok 4 Heavy。这些推理专用模型因被训练为使用工具而非仅泛化而显著优于Grok 3。Musk称新模型在学术问题上“比几乎所有研究生都聪明”，并展示其生成“鹳骑自行车”SVG图像的能力。文章介绍了使用Braintrust平台如何系统评估模型在生成和描述图像任务上的表现，通过自定义LLM-as-Jury评分器结合OpenAI、Anthropic和xAI的评分标准，分析Grok 4在图像生成与描述任务中的效果。

🔍 xAI新发布的Grok 4和Grok 4 Heavy模型专注于推理能力，通过训练使用工具而非仅依赖泛化能力，在学术问题上表现出色，据称优于多数研究生水平。

🎨 文章通过Simon Willison的独特测试——生成并描述“鹳骑自行车”SVG图像，展示了新模型在视觉创作与理解上的潜力，帮助评估不同LLM的倾向性。

📊 利用Braintrust平台，用户可系统评估模型在图像生成与描述任务上的表现，通过自定义LLM-as-Jury评分器整合OpenAI、Anthropic和xAI的评分标准，得出综合评价。

🛠️ 文章详细介绍了如何使用Braintrust设置评估任务，包括生成SVG图像、描述图像内容，并计算模型在多维度评分下的综合表现，为模型比较提供数据支持。

🔄 Braintrust支持添加更多图像描述和测试不同模型，便于用户分组和聚合结果，系统测量模型随时间推移的进展，为AI研发提供持续优化路径。

xAI recently announced Grok 4. We put it to the ultimate test.