先从诊断问题反推字段
为排查偶发失败而默认保存提示、检索片段和工具响应，看似方便，却让日志平台拥有比业务数据库更完整的用户画像。可观测性设计应先列出要回答的问题：哪个模型或提示版本退化、错误发生在哪个工具、尾延迟来自哪里、成本为何上升。然后为每个问题选择最少字段，而不是先收集全部正文再期待权限控制补救。
定位版本回归通常只需请求标识、模型快照、提示版本、工具契约版本、状态、时延与令牌量；分析重试需要错误类、轮次和操作状态；判断检索空缺可记录候选数量、索引版本与分数区间。用户原话、完整文档和工具秘密并非这些统计的必要条件，默认不应进入事件。
字段清单包含用途、来源、敏感级别、允许访问者和保留期。新增字段视为数据处理变更，先用测试确认不会携带正文或凭据。没有明确诊断用途的“以后也许有用”数据拒绝落库，避免观测系统逐渐变成无人治理的第二份产品数据库。
用版本与状态构建最小追踪骨架
一次请求生成随机追踪标识，在代理规划、检索和工具调用之间传递；标识本身不编码用户、时间或租户。每个跨度记录组件名、开始结束、输入输出大小、稳定状态码和版本，不记录载荷。父子关系足以重建延迟瀑布，也能看出失败发生在检索、生成还是外部提交。
模型事件保存调用的实际版本、区域、温度、最大输出和令牌统计；提示仅保存构建版本与模板摘要。工具事件保存工具名、契约版本、目标类型、风险层、状态和耗时，资源具体标识做作用域内摘要。未知结果与明确失败必须区分，否则监控会建议自动重试并制造重复副作用。
指标标签要控制基数，不能把请求标识、自由错误或用户编号放进时序标签。高基数字段保留在受控追踪存储，并有较短期限。错误栈先经过字段化映射，通用仪表盘展示错误类与组件版本；原始异常只在服务本地短期受限环境提供，且经过秘密扫描。
内容指纹用于关联而非还原
为了判断多个失败是否来自相同输入，可对规范化后的有限片段计算带秘密密钥的消息认证码，而不是保存正文或使用普通哈希。普通短文本哈希可被词典枚举，邮箱、电话和常见问题尤其容易反推。密钥按环境隔离并定期轮换，指纹只在约定窗口内用于聚类，不能作为跨产品长期用户标识。
规范化规则需避免制造过度关联。移除所有数字可能把不同订单问题合为一类，保留完整标识又增加重识别风险。可分别记录错误模板指纹和受控输入形状，例如长度桶、语言、字段存在性。任何指纹都被视为潜在个人数据，访问、导出和保留受到与其他遥测相同治理。
关联分析展示相同指纹的版本和错误分布，不向分析者提供原文。确需查看样本时通过短期调试流程从源系统重新取得获准数据，而不是从永久日志解码。密钥销毁或轮换后旧指纹无法用于新的交叉匹配，降低长期轨迹拼接风险。
调试正文采用短期开窗机制
某些语义错误确实难以只靠元数据诊断，这时创建有范围、有审批、有期限的采样窗口。窗口绑定具体服务、错误类、比例、字段和负责人，默认数小时而非永久开启。采集前运行敏感检测与字段脱敏，正文进入独立加密存储，不流入普通日志、告警消息或第三方追踪平台。
脱敏不应只靠一个正则。结构化字段按策略删除或泛化，文本检测凭据、联系方式和业务专有标识，工具响应优先采用允许列表字段。检测失败时宁可丢弃样本。分析界面限制下载与复制，所有查看行为进入审计；窗口到期自动停止采集并清理样本，不依赖工程师记得关开关。
关闭采样后通过探针请求确认没有正文继续写入，并检查队列、缓冲区和失败重试是否残留。若事故需要延长，重新审批而非修改数据库到期时间。调试结论沉淀为新的结构化指标或回归样本，采样正文在用途完成后删除，不把临时例外变成永久依赖。
业务日志与安全审计分开授权
业务运行日志用于容量、性能和错误诊断，安全审计用于回答谁访问或改变了什么，两者用户、保留期限和完整性要求不同。混在同一索引会迫使大量运维人员接触敏感操作记录，也让高频调试事件淹没关键授权变更。分别存储后，业务团队查看聚合状态，安全团队按受控流程调查访问事件。
审计事件记录主体内部标识、动作、资源类型与摘要、授权决定、策略版本和结果，不复制提示或工具正文。事件采用追加写与完整性保护，导出、查询和删除策略变更本身也被审计。业务日志可以较短保留并允许采样，审计则按法规和风险制定期限，但更长期限并不意味着可以包含更多内容。
关联两套系统使用短期追踪标识或受控映射服务。普通分析者不能据此还原完整用户活动轨迹，跨系统查询需要明确权限和理由。第三方监控只接收经过筛选的业务指标，不默认安装会自动捕获网络载荷、页面输入或异常局部变量的代理。
删除、保留与导出边界要可执行
每类遥测数据设置自动过期策略，并用实际存储生命周期而不是文档承诺验证。热索引、归档、备份和搜索缓存都在清单内；移动到低成本存储不等于删除。测试环境往往被忽略，也可能包含生产复制数据，应使用更短期限与独立凭据，禁止开发者随意下载。
用户删除请求与日志之间需要明确边界。能够关联到用户且不再具有必要安全用途的内容应传播删除；必须保留的安全事件采用最小字段、访问限制并说明依据。为了避免把所有日志变成可直接用户索引，可以将运营指标聚合和去标识，但不能仅靠删除一个映射表就宣称不可识别。
导出是高风险动作，需限制范围、审批、加密和到期。导出文件标记来源与负责人，下载及分享进入审计，分析完成后清理。告警通知只包含追踪链接和摘要，不把错误堆栈或样本正文复制到邮件与聊天系统，从源头防止保留策略被旁路。
失败模式往往藏在自动采集里
应用代码可能正确屏蔽正文，异常框架却把函数参数写入栈，网络中间件又记录请求体，前端监控还自动收集输入框。数据流审查要覆盖日志库、追踪代理、崩溃报告、队列死信、告警模板和供应商 SDK。为每条路径发送带假凭据与个人字段的探针，扫描所有落点，而不只检查主日志。
请求标识若含用户编号或可预测时间，也会形成隐私问题。应使用随机不透明值，并限制跨天关联。资源摘要采用环境密钥，防止不同租户或第三方数据集拼接。高基数标签可能被监控供应商长期索引，字段评审需要同时考虑名称、值域和实际后端行为。
脱敏器升级可能误删诊断信号或漏掉新格式，因此保存合成测试集，覆盖令牌、连接串、中文地址、嵌套 JSON 和二进制转码。漏检是安全失败，过度脱敏则通过元数据设计补足，而不是放宽正文采集。供应商配置变化也需定期复核。
验证无正文仍能定位问题
构造模型、提示、索引和工具四类版本回归，确认仅凭追踪骨架就能定位到异常组件和发布版本。注入依赖超时、非法参数、未知提交和高延迟，仪表盘应区分错误类并展示尾部分布。关闭调试采样后持续发送探针，所有存储都不得出现正文或秘密。
权限测试让普通运维、安全调查者和临时调试人员访问各自界面，确认最小权限、到期撤销与导出审计有效。保留测试推进可控时钟，检查热存储、归档、缓存和备份清单按期清除。第三方 SDK 升级后重跑敏感探针，防止默认设置重新开启载荷采集。
验收不以“记录了多少”衡量，而看事故定位时间、版本归因率、敏感字段扫描结果、采样到期可靠性和访问异常。若某类问题只能靠永久正文解决，应继续改进结构化状态和错误分类。能够诊断模型、提示、检索与工具回归，同时让日志不成为更危险的数据副本，才是成熟的 LLM 可观测性。
实现片段
logger.info({ requestId, modelVersion, latencyMs, outcome })
评论 · 0