标签：系统设计
共 13 篇文章。
-
同步请求路径的队列与背压设计：网关层怎么不被打爆
聚焦 LLM API 网关同步请求路径的排队与背压策略：何时该拒绝而非排队、队列深度与超时预算联动、多租户公平调度，附有界队列实现。
-
Agent 循环的成本失控与控制：为什么循环比单次调用更危险
循环型 Agent 的成本为什么会非线性增长：上下文累积效应、边际成本衰减信号、预算感知型循环终止的设计与实现。
-
Agent 失败任务死信队列设计
讲解如何为 AI Agent 任务队列设计死信队列，涵盖入队判定、死信数据结构、人工介入与自动重放策略，以及和传统消息队列 DLQ 的差异。
-
Agent 输出来源追踪与引用设计
多步骤 Agent 的最终输出往往融合了多个工具调用和检索结果，如何设计数据模型让每句话都能追溯到源头。
-
预算护栏与超支阻断
预算护栏该放在客户端、网关还是模型厂商层？护栏没被真正测试过等于没有，讲清楚护栏的放置策略和验证方法。
-
自建 LLM 网关的路由实现：从零设计转发逻辑
从工程实现角度拆解自建 LLM 网关的路由层设计，包括路由规则匹配、健康检查、故障转移与负载均衡的具体代码思路。
-
AI Agent Human-in-Loop 模式实战
详解 AI Agent 中 Human-in-the-Loop 设计模式的落地方法，涵盖审批网关、置信度阈值、分级授权与中断恢复的工程实现与代码示例。
-
AI 任务重试队列设计
讲解 AI 任务系统中重试队列的架构设计，涵盖死信队列、毒消息隔离、重试预算与优先级重排，帮你避免重试风暴拖垮整个系统。
-
LLM 应用上线 checklist
一份可直接照做的 LLM 应用生产上线检查清单，覆盖密钥管理、限流熔断、成本护栏、可观测性与灰度发布，帮你上线前排查关键遗漏。
-
OpenAI 与 Anthropic 缓存机制对比：多模型架构下的统一缓存层设计
从架构设计角度对比 OpenAI 自动缓存与 Anthropic 显式 cache_control 的控制粒度差异，讲解多模型路由场景下如何构建统一的缓存监控与 Prompt 结构规范。
-
AI Agent 写操作回滚策略：让 Agent 的错误可以被撤销
系统讲解 AI Agent 执行写操作（改文件、写数据库、调用有副作用的 API）时如何设计回滚机制，涵盖快照、补偿事务、幂等性与审计日志。
-
AI Agent 错误恢复机制设计：让 Agent 在失败中自我修复
深入讲解 AI Agent 错误恢复机制，涵盖重试策略、降级回退、状态检查点、异常分类与自动修复，帮你构建健壮的 Agent 系统。
-
多模型成本智能路由方案：让 AI 调用自动选最优性价比
详解多模型智能路由设计：按任务复杂度自动分配模型，结合缓存、批处理与动态定价，将 LLM 成本降低 40%~70%。