运行一个依赖大型语言模型的系统，并不会在使其可用或初步提升其准确性后结束。系统可能仍然完全可用，却在默默地批准错误决策、快速消耗预算，或在故障期间切换到未经质量测试的模型。因此，Running LLM systems in production系列的第五部分聚焦于日常可运行性，将其视为使系统能够被监测、控制、停止和恢复的层。
监测决策，而不仅是服务
传统的服务指标，如请求率、错误率、响应时间和处理器使用量，并不能揭示代理是否正在做出良好决策。来源建议增加专门针对决策的监测层，包括决策量、自动执行比例、复合置信度分布、每个节点的耗时、安全控制拦截状态、令牌消耗与成本、人工介入率，以及针对生产流量样本进行的隐藏评估结果。
来源确定了四类信号：决策、安全、成本与性能、质量。如果无法测量所有内容，优先级应放在自动执行比例、安全控制拦截、模型总成本，以及人工推翻系统决策的比率上。
来源还建议将日志分为三层：高容量运行数据、置信度范围内的决策元数据，以及受加密和严格控制的原始或结构化数据。每个决策都应携带一个固定标识符decision_id，用于关联指标、日志、追踪记录和审计日志，从而能够从头到尾调查单个决策。
让成本可测量且可控
不应将模型调用分散在代码库的不同部分，因为这会使成本难以归因和控制。相反，来源建议设置一个统一网关，所有调用都经过该网关；网关负责按租户、能力和模型计算令牌数与成本，同时实施速率和预算限制。
降低成本的措施依次如下：在确定性规则足够时不调用模型；将多个项目合并到一次调用中；临时缓存确定性结果；为简单任务选择更小的模型；然后缩减不必要的上下文和指令。此外，应在调用前估算令牌数，而不是将每个请求都计为一个单位，并为平台设置总上限，同时限制重试次数和无限工具循环。
路由、回退与停止开关
实际上不存在一个适用于所有任务的单一模型。可以将低风险、高容量的任务路由到更小的模型，将模糊或敏感的情况交给能力更强的模型，并为判断模型使用不同的模型系列，以避免模型共享相同的薄弱点。路由或回退路径中存在的每个模型都必须经过评估，因为切换到备用模型可能会改变质量。
在供应商发生故障期间，应使用明确的回退链，并设置一个统一的总超时时间，以及防止调用已知发生故障的供应商的保护间隔；还应使用幂等键，避免调用在实际上已经成功但随后超时的情况下重复处理决策。当备用方案不可接受时，应将决策转交给人工，而不是掩盖性能下降。
对于停止开关，来源建议将其作为一种共享运行状态，可以是全局的，也可以针对某个租户或能力。状态包括：正常运行；HUMAN_ONLY，停止自动执行但保留供人工使用的建议；以及HALTED，完全停止决策。如果无法访问该开关，安全行为是切换到人工审核模式，而不是继续正常运行。
防止混乱的架构
来源将可运行性与六边形架构联系起来，通过接口和适配器层将领域逻辑与模型供应商软件包分离。这样可以在不重写业务逻辑的情况下切换供应商，也可以使用无网络、无成本的模拟模型测试领域逻辑。
基础架构包括无状态代理服务、模型网关、追加式审计存储、用于限制和停止开关的共享内存、秘密存储，以及用于输入和敏感数据的对象存储。来源还强调每项服务都应拥有独立身份、遵循最小权限原则，并在每一跳验证租户身份是否与请求匹配，尤其是在为延迟任务使用短期授权授予时。
为什么这条消息很重要？
这里的实际价值不在于增加一个新组件，而在于将关键控制点集中到一个入口：使模型切换成为可能的网关，同时负责衡量成本、实施限制、管理路由和回退，并启用停止功能。这一方法的成功仍取决于是否真正测试故障场景，例如模型供应商发生故障、启用停止开关、突发负载，以及在决策执行过程中重启节点。如果没有这些测试，恢复机制仍只是未经验证的假设。