Workflow
Notion、Stripe 都在用的 Agent 监控,Braintrust 会是 AI-native 的 Datadog 吗?
海外独角兽·2025-09-25 10:33

作者:徐萌宏Matt 编辑:Cage 当 Agent 从 Demo 迈向真正的产品化,开发者迎面而来的最大挑战不是模型本身,而是如何观测、 评估并持续优化这些黑箱的系统。如果说传统软件时代的 Observability 是帮助工程师定位"代码为什 么挂了",那么在 AI 时代,它必须回答的是:模型为什么答错了?Agent 的链路为什么失效?产品的 输出质量如何验证? 这正是 Braintrust 和一众新的可观测性公司崛起的背景。由 Ankur Goyal 于 2023 年创立的 Braintrust,正在尝试把 Observability 从"监控指标与日志"重塑为"模型评估与行为追踪"。它提供 Eval (实验评估)和 Ship(线上监控)两大核心模块,让团队既能在实验阶段大规模测试不同模型与提 示词的组合,又能在生产环境持续跟踪模型表现。凭借灵活的 Scorer 系统和优质的开发者体验, Braintrust 已成为 Notion、Zapier、Stripe 等头部公司的首选工具,并获得 a16z 与 Greylock 的投资加 持。 今天 Observability 赛道是否正在重演 Datadog ...