跳到主内容
快讯直播
AI智模界
AI 词典

LangSmith:给 AI 智能体装一台行车记录仪

一句话说清:LangSmith 是 LangChain 团队做出的一个平台,专门用来把大模型应用和智能体(agent)跑过的每一步都记录、回放、打分,帮开发者查错、比方案、盯线上质量。

为什么需要它

智能体完成一件小事,背后可能是十几次模型调用加工具调用:先规划,再查知识库,再调接口拿订单号,发现格式不对重试一遍。最后答复错了,问题出在哪?是检索给了过时文档,是工具返回了空值,还是提示词本身有歧义?只看结果永远猜不到。

LangSmith 给每次请求生成一棵调用树(trace):每一层的输入输出、提示词原文、用的哪个模型、消耗多少 token、耗时多久、工具传了什么参数、报了哪行错,全部摊开可点。像行车记录仪,也像流水线的扫码追溯——事后能精确回放到某一秒。

从“看”到“量”

只看日志还不够,改完怎么知道变好了?把线上真实请求或人工标注的样本存成数据集(dataset),配一批评估器(evaluator):可以是对答案的规则匹配、人工打分,也可以让另一个模型当裁判(LLM-as-a-judge)。于是,改一句提示词、换个模型、调一次检索参数,都能在同一批题上重跑一遍,看通过率是升是降。这一步叫离线评估。线上则做在线评估:抽样打分、收用户点赞点踩、按指标设告警。

和相邻概念的区别

维度传统监控(APM)LangSmith
关注什么延迟、错误率、资源提示词、模型输出、工具调用
记录粒度一次 HTTP 请求每一次模型/工具调用
怎么判断好坏阈值告警数据集 + 评估器打分
谁在用运维应用开发者、算法、产品

和 LangChain 的关系也常被混淆:LangChain 是开发用的框架库,LangSmith 是配套平台,但并不是绑定关系,不用 LangChain 写的代码同样可以接入。与开源同类工具相比,定位相近,功能细节和部署方式以官方文档为准。

对从业者意味着什么

最直接的变化是:调提示词从“凭手感”变成“看数据”。一个改动的收益有多大,跑一遍评估集就有答案;线上出现的坏案例能一键存进数据集,变成下一轮的测试题。代价是记录很细,用户输入和模型输出可能被完整上传,涉及隐私与合规,上线前要谈好脱敏、采样和权限。具体套餐与功能边界,以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。