Braintrust的实验评估反馈循环现在通过Brainstore显著加快。我们如何解决了一个关键的性能挑战。实验是Braintrust评估反馈循环的核心，通过丰富的可视化和详细指标分析结果。用户可以即时识别特定字段的分数回归，并使用侧边栏差异比较数百万字节的JSON，同时监控成本、令牌计数和错误率等关键指标。随着数据量的增长，我们最初利用DuckDB在浏览器中进行客户端计算，但内存限制导致错误。我们转向Brainstore，这是一个为查询大量半结构化LLM数据而专门构建的高性能分析引擎，引入了新的摘要查询形状，实现了即时数据查看和高效聚合。Brainstore合并实时数据和历史数据，使最新测试结果立即可用，同时保持对旧实验数据的快速访问。通过在服务器端进行摘要计算并配合Brainstore的实时、模式灵活架构，我们能够在几秒钟内分析数百万个测试用例，无需在速度、灵活性或正确性之间做出妥协。

💡 Braintrust的实验评估反馈循环通过Brainstore显著加快，解决了关键的性能挑战。实验是核心，通过丰富的可视化和详细指标分析结果，用户可以即时识别分数回归并比较JSON数据。

📊 随着数据量增长，最初使用的DuckDB在浏览器中进行客户端计算因内存限制导致错误。Brainstore是一个为查询大量半结构化LLM数据而专门构建的高性能分析引擎，引入了新的摘要查询形状，实现了即时数据查看和高效聚合。

⏱️ Brainstore合并实时数据和历史数据，使最新测试结果立即可用，同时保持对旧实验数据的快速访问。它通过在服务器端进行摘要计算并配合Brainstore的实时、模式灵活架构，能够在几秒钟内分析数百万个测试用例，无需在速度、灵活性或正确性之间做出妥协。

🔍 Brainstore的定制逻辑允许高效的前聚合和后聚合过滤，支持自定义字段和计算指标。这使得用户能够过滤基本字段、计算指标甚至自定义定义的字段，从而更灵活地分析数据。

🚀 这些性能升级不仅适用于实验，还适用于日志和数据集表，在Braintrust中提供一致的高速体验。

Brainstore speeds up experiments, datasets, and logs.