Coursera采用LLM提升用户体验，但早期依赖手动评估，协作困难。本文介绍了Coursera如何建立结构化评估流程，包括定义成功标准、平衡真实与合成数据、混合评估方法及持续监控。通过Braintrust，Coursera实现快速迭代，提升开发信心，优化AI功能如Coursera Coach和自动评分，显著改善学习体验和效率。

📌 Coursera早期采用手动评估和脚本协作，效率低下且难以验证AI功能。为提升效率，团队建立结构化评估流程，明确成功标准，如响应适当性、格式一致性等，确保AI功能符合用户和业务目标。

📊 评估流程强调数据质量，结合真实用户反馈（如评分）和合成数据（如LLM生成边缘案例），覆盖典型和罕见场景。此平衡方法确保评估全面，提升AI功能鲁棒性。

🔍 Coursera采用混合评估方法，结合代码检查（如格式）和LLM判断（如主观质量），兼顾客观与主观标准。此策略确保输出既符合严格要求，又具备高质量细节。

📈 通过Braintrust实现持续监控，包括实时生产日志和离线批量测试，实时追踪性能并预警偏差。快速原型验证帮助团队在开发前识别问题，加速迭代，如自动评分从仅评估有效提交到覆盖负面案例，显著提升评分质量。

🌐 标准化评估促进跨团队沟通，形成统一AI质量语言。此框架使Coursera在快速扩展AI功能的同时，保持高质量和用户信任，为其他企业提供了可借鉴的实践方法。

Key learnings from the Coursera AI engineering team.