分类：应用工程
共 67 篇文章。
-
用负反馈改进 RAG 检索：把用户的"没帮上忙"变成可执行修复
RAG 上线后真正的改进信号藏在负反馈里。本文讲怎么采集隐式与显式负信号、归因到检索链路的具体环节，并建立一条从抱怨到修复的闭环流水线。
-
Query Rewrite 对 RAG 召回的影响：怎么量化它到底有没有用
多数 RAG 系统加了 Query Rewrite 却说不清收益。本文给出可落地的评测设计：拆分四类改写策略、构造对照集、用召回率与成本一起判断是否值得保留这一步。
-
RAG 知识新鲜度监控
索引和源库完全一致，不代表知识还没过期。本文区分一致性与新鲜度两类问题，给出保鲜期定义方法、源侧索引侧使用侧三类监控信号、告警分级与陈旧内容的降权下架策略，并说明如何在回答中暴露时间信息，以及小团队可落地的最小实现。
-
企业 RAG 的文档权限继承
企业 RAG 不能让搜索绕过原系统权限。本文给出文档 ACL 继承、身份映射、检索前过滤、缓存隔离、权限撤销与审计测试的完整工程方案。
-
RAG 引用真实性自动校验
讲清 RAG 引用真实性自动校验的工程实现：从引用结构化、文档版本绑定、原文蕴含检查到离线评测与线上告警，减少链接存在但证据不支持答案的伪引用。
-
RAG 文档版本与索引一致性
系统讲解 RAG 文档更新时如何管理版本、增量索引、删除传播与缓存失效，避免新旧片段混用，并给出可落地的数据模型、切换流程和一致性检查方法。
-
RAG Metadata Filter 设计：从字段选型到多租户隔离
讲解 RAG 系统中 Metadata Filter 的设计方法：字段选型原则、预过滤与后过滤的性能取舍、多租户隔离方案，以及主流向量库的过滤语法对比。
-
RAG Reranker 选型与评测：什么时候值得加一层重排
系统梳理主流 Reranker 方案（Cohere Rerank、BGE-Reranker、Voyage Rerank、LLM 重排）的选型标准、延迟成本与评测方法，判断你的 RAG 系统是否真的需要重排。
-
Hybrid Search 权重调优实战：向量检索和关键词检索怎么配比
讲解 RAG 系统里 Hybrid Search 的权重调优方法，覆盖 RRF 融合、动态权重策略、评估集设计与常见调优误区。
-
RAG Chunking 策略的量化评测：别再凭感觉调 chunk_size
用 Context Recall 和 MRR 量化对比固定长度、按句子、滑动窗口、语义切分四种 chunking 策略，附实验设计方法与分文档类型的选型建议。
-
AI Agent 生产故障 Runbook：常见故障与应急处置
AI Agent 生产环境故障应急手册：工具调用风暴、无限循环、成本飙升、幻觉性破坏操作等常见故障的识别信号、止血步骤与复盘模板。
-
Agent Prompt 与工具的金丝雀发布怎么做
Agent 系统改 system prompt 或新增工具时如何做金丝雀发布：多步轨迹怎么评估、工具权限怎么灰度收紧、出问题如何精确定位是哪一环出错。
-
Agent 失败任务死信队列设计
讲解如何为 AI Agent 任务队列设计死信队列，涵盖入队判定、死信数据结构、人工介入与自动重放策略，以及和传统消息队列 DLQ 的差异。
-
给 AI Agent 接入策略引擎：把权限规则从代码里独立出来
讲解如何给 AI Agent 接入独立的策略引擎（Policy Engine），把权限判断从散落的 if-else 中抽离成可审计、可热更新的规则集，涵盖架构设计、规则示例与选型建议。
-
Agent 输出来源追踪与引用设计
多步骤 Agent 的最终输出往往融合了多个工具调用和检索结果，如何设计数据模型让每句话都能追溯到源头。
-
多 Agent 共享限流配额的协调：谁先用、谁该等
多个 AI Agent 并行跑在同一个 API Key 下时如何协调限流配额，涵盖集中式令牌桶、按优先级分配、退避排队三种模式及适用场景。
-
多租户 Agent 的数据隔离
面向多个客户提供 Agent 服务时，讲清楚向量存储、对话记忆、工具调用三个环节的租户隔离设计，以及容易被忽视的跨租户数据泄漏风险点。
-
Agent 并行工具调用的并发控制：从信号量到自适应限流
Agent 并行调用多个工具时，如何设计并发控制机制避免打垮下游服务：信号量限流、按下游分组的连接池、自适应并发调整与优先级调度。
-
Agent 上下文预算分配算法
Agent 多轮工具调用场景下，如何把有限的上下文窗口预算在系统提示、工具定义、历史消息、工具结果之间动态分配，含优先级分层与运行时再平衡算法。
-
Agent 记忆保留与清理策略：该存多久、什么时候该忘
讲清楚 AI Agent 记忆系统的生命周期管理：TTL 过期策略、冲突记忆的合并规则、用户主动删除请求的处理，以及记忆无限增长导致的成本和准确率问题。
-
Agent 轨迹级评测方法：不只看结果对不对
只看最终答案的 Agent 评测会掩盖过程中的绕路、重复调用和危险操作。本文讲解轨迹级评测的打分维度、自动化方法与常见陷阱。
-
Agent 任务回放与确定性调试
Agent 生产事故很难复现，本文讲如何用捕获的执行轨迹搭建回放调试环境，处理 LLM 采样、工具调用、时间等非确定性因素。
-
AI 编程 Agent 沙箱设计：怎么让模型放心跑代码
拆解 AI 编程 Agent 沙箱的设计维度：进程隔离、容器与虚拟机取舍、文件系统与网络边界、资源限制，给出可落地的分级方案。
-
Agent 工具密钥隔离与最小权限
面向生产 Agent 的工具密钥隔离方案：通过凭证代理、短期令牌、资源作用域和策略校验，让模型只能使用必要权限且无法读取密钥明文，并建立完整审计链路。
-
Agent 人工审批队列的实现
讲解如何为 AI Agent 实现可持久化、可追踪的人工审批队列，覆盖风险分级、操作意图冻结、权限快照、状态机迁移、并发领取租约、批准后幂等执行、超时升级、结构化拒绝和追加式审计日志，并给出故障测试与生产监控指标，避免重复执行、越权审批和请求长期积压。
-
防止 Agent 无限循环的终止策略
从硬预算、重复状态指纹、进展检测到安全收尾，系统讲解如何识别并终止 Agent 无限循环，同时保留部分成果、审计证据与可恢复状态。
-
Agent 工具调用的超时预算设计
如何为 Agent 的工具调用链设计合理的超时预算：单工具超时、总时长预算、分层降级策略，避免 Agent 卡死或超时抛异常导致任务前功尽弃。
-
Agent 多步写操作的 Saga 补偿机制设计
讲解如何用 Saga 模式为多步 Agent 写操作设计补偿链，涵盖编排式与协同式两种实现、补偿幂等性与部分失败处理。
-
用 Event Sourcing 记录 Agent 执行轨迹
Agent 的执行过程天然是多步、异步、可失败的。相比只存最终状态，用 Event Sourcing 记录每一步事件，更适合做回放调试、审计追踪、补偿回滚和离线评测。
-
AI Agent 状态机设计与落地
从状态定义、事件流转、超时补偿到人工接管，系统讲清 AI Agent 状态机如何设计，才能真正落到生产环境。
-
AI Agent 多租户成本归因
讲清 AI Agent 产品里如何按租户、用户、任务和模型做成本归因，覆盖数据结构、分摊规则、埋点口径与运营看板设计。
-
AI Agent Human-in-Loop 模式实战
详解 AI Agent 中 Human-in-the-Loop 设计模式的落地方法，涵盖审批网关、置信度阈值、分级授权与中断恢复的工程实现与代码示例。
-
AI 任务重试队列设计
讲解 AI 任务系统中重试队列的架构设计，涵盖死信队列、毒消息隔离、重试预算与优先级重排，帮你避免重试风暴拖垮整个系统。
-
LLM 应用上线 checklist
一份可直接照做的 LLM 应用生产上线检查清单，覆盖密钥管理、限流熔断、成本护栏、可观测性与灰度发布，帮你上线前排查关键遗漏。
-
Prompt 改动后的回归检测
Prompt 改一个字，线上效果可能整体下滑却没人发现。讲清楚如何搭建黄金测试集、自动化评分和 CI 门禁，在上线前拦截 Prompt 回归。
-
AI 功能 A/B 测试设计：Prompt、模型与体验的三层实验框架
面向 AI 功能的 A/B 测试设计，涵盖分流策略、指标选择、Prompt/模型双变量实验、样本量计算与常见陷阱的工程实践。
-
LLM 用户级配额管理实现
面向 SaaS 产品的 LLM 用户级配额系统设计，涵盖数据模型、Redis 原子扣减、并发安全、超额处理策略与套餐联动的工程实现。
-
AI Agent 写操作回滚策略：让 Agent 的错误可以被撤销
系统讲解 AI Agent 执行写操作（改文件、写数据库、调用有副作用的 API）时如何设计回滚机制，涵盖快照、补偿事务、幂等性与审计日志。
-
LLM 对话轨迹存储与查询设计实践
从数据模型、索引策略到检索场景，讲解如何设计 LLM 对话轨迹（trace）的存储方案，兼顾调试、审计与成本分析的查询需求。
-
AI Agent 可观测性设计
讲清 AI Agent 可观测性的核心架构设计：该观测什么、Trace 数据模型怎么建、告警怎么定，以及自建与用现成工具的取舍。
-
LLM 应用压测方案：从指标设计到工具实现
讲清 LLM 应用压测和传统 Web 压测的本质区别，如何设计并发模型、选取核心指标，附 locust 实测脚本与常见误区。
-
RAG 系统评测框架搭建实战
讲解如何为 RAG 系统搭建一套完整评测框架，涵盖检索指标、生成质量指标、黄金测试集构建与 CI 集成方法。
-
AI Agent 任务分解模式
讲解 AI Agent 拆解复杂任务的常见模式：线性分解、树形分解、动态重规划，附实际工程判断标准和代码示例。
-
AI Agent 工具权限粒度设计：如何避免"要么全给要么全不给"
探讨 AI Agent 工具权限设计的粒度问题，从最小权限原则、审批流、沙箱隔离到分级授权模型，给出可落地的权限体系设计方法。
-
LLM 输出验证：schema + 业务规则双层防护
讲清楚为什么 JSON Schema 校验通过不等于输出可信，如何设计 schema 层 + 业务规则层的双层验证体系，附 Pydantic 实现与常见漏检案例。
-
团队级 System Prompt 库的组织方式
介绍如何在工程团队中构建可维护的 System Prompt 库，涵盖版本管理、目录结构、测试策略和多项目复用机制。
-
LLM 多提供商 fallback 路由设计
深入解析如何设计健壮的 LLM 多提供商 fallback 路由，覆盖熔断、重试、权重调度与成本控制，让 AI 应用始终高可用。
-
AI 流水线的错误追踪方案：从日志到根因定位
系统讲解 AI 多步流水线的错误追踪设计，涵盖结构化日志、Span 追踪、错误分类与告警，附 Python 实战代码示例。
-
LLM 应用缓存层设计：从语义缓存到 Prompt 缓存的完整方案
系统讲解 LLM 应用的缓存层架构，涵盖语义缓存、Prompt Caching、结果缓存三大策略，帮助降低 API 成本 60% 以上。
-
AI Agent 单会话成本监控实现：从零构建 Token 追踪系统
完整讲解如何为 AI Agent 构建单会话 token 成本监控系统，包括实时追踪、预算告警、多轮对话计费拆分，附 Python 生产级代码。
-
AI Agent 错误恢复机制设计：让 Agent 在失败中自我修复
深入讲解 AI Agent 错误恢复机制，涵盖重试策略、降级回退、状态检查点、异常分类与自动修复，帮你构建健壮的 Agent 系统。
-
AI Chatbot 上下文管理与裁剪：工程实践完整指南
深入讲解 AI Chatbot 的上下文管理策略：滑动窗口、摘要压缩、重要性评分裁剪等方法，含 Python 代码示例，帮你在保持对话连贯性的同时控制 Token 成本。
-
AI 功能灰度发布策略：从实验到全量的工程实践
系统梳理将 AI 功能推向生产环境的灰度发布策略，涵盖流量切分、回滚机制、评估指标与成本控制，帮助团队稳健上线 AI 特性。
-
LLM 异步任务队列设计：从原型到生产
用 BullMQ/Celery 设计 LLM 异步任务队列：任务分层、重试策略、优先级调度、Worker 弹性扩缩，附 Node.js 与 Python 示例代码。
-
AI 任务流水线编排实战：从单点调用到多步 Pipeline
系统讲解如何将多个 LLM 调用串联成可靠的 AI 流水线，涵盖顺序、并行、条件分支、错误重试与成本控制的工程实践。
-
LLM 多轮对话状态管理
系统讲解 LLM 多轮对话中的状态管理策略，涵盖上下文截断、摘要压缩、外部记忆存储与工程实现。
-
AI Agent 降级与容错策略：生产级可靠性设计
系统讲解 AI Agent 的降级策略、容错模式与熔断设计，帮助团队在模型故障、超时、限流时保持服务可用性。
-
LLM 流式响应背压处理：防止服务端被打爆的实战指南
深入讲解 LLM 流式响应中的背压问题成因、检测方法与解决方案，帮助工程师构建稳定高效的 AI 应用后端。
-
AI Agent 记忆系统设计：四种模式与工程实践
系统梳理 AI Agent 的四种记忆模式——工作记忆、情节记忆、语义记忆和程序记忆，给出工程选型与落地建议。
-
Prompt 模板工程实战
从变量设计、模块组合到版本管理和测试，系统讲解如何把一次性 Prompt 升级为可复用、可维护的 Prompt 模板工程体系。
-
Prompt 版本管理实战：从混乱到可追溯的工程化之路
详解 Prompt 版本管理的核心方法，涵盖文件结构设计、Git 工作流、A/B 测试追踪、回滚策略与团队协作规范，帮助团队建立可维护的 Prompt 工程体系。
-
LLM 评测 Golden Set 构建方法
系统介绍如何为 LLM 应用构建高质量评测基准集（Golden Set），涵盖数据采集、标注策略、维护机制与自动化评分实践，帮助团队建立可持续的模型质量体系。
-
AI Agent 工具集合的设计原则
从实战出发，梳理 AI Agent 工具集合设计的核心原则，帮助开发者构建可靠、高效、易维护的 Agent 工具体系。
-
LLM 上下文工程方法论
系统梳理 LLM 上下文工程的核心概念与实战技巧，涵盖上下文窗口管理、信息压缩、RAG 整合与 Agent 记忆设计。
-
LLM API 错误重试策略设计
覆盖 429、500、502、timeout 等 LLM API 常见错误，系统讲解指数退避、抖动、熔断器与幂等设计，附 Python 生产可用代码。
-
AI 结对编程实战指南：让 AI 真正成为你的副驾驶
从工作流设计到提示词技巧，系统讲解如何与 AI 高效结对编程，覆盖 Cursor、Claude Code、Copilot 等主流工具的实战用法与协作模式。
-
从零搭建生产级 AI Chatbot：架构设计与工程实践
手把手讲解如何用 Python + FastAPI 构建可扩展的生产级 AI Chatbot，涵盖多轮对话、流式输出、上下文管理和成本控制全链路实践。