标签：工程实战
共 36 篇文章。
-
LLM 应用的冷启动与预热策略：第一个请求为什么总是慢
从连接池、Prompt Cache 到函数计算冷启动，拆解 LLM 应用里"第一个请求特别慢"的几种成因，给出可落地的预热方案。
-
Agent 任务调度器设计：从队列到优先级的工程取舍
拆解 Agent 任务调度器的核心设计问题：任务队列模型、优先级抢占、并发限流与失败重试，给出可落地的架构选型建议。
-
同步请求路径的队列与背压设计：网关层怎么不被打爆
聚焦 LLM API 网关同步请求路径的排队与背压策略：何时该拒绝而非排队、队列深度与超时预算联动、多租户公平调度，附有界队列实现。
-
Embedding 成本优化路径：从去重到量化的实操清单
不是选模型或选维度，而是拆解 Embedding 成本在去重、批处理、增量更新、量化压缩四个阶段的具体优化手段，附可落地的执行顺序。
-
Prompt 变更如何做回归测试与灰度发布
讲清楚 Prompt 修改上线前的回归测试怎么搭、灰度发布怎么控制流量、出问题怎么用指标触发自动回滚，附可复用的评测集设计与脚本骨架。
-
响应缓存层设计与命中率：怎么把重复请求的钱省下来
聚焦 LLM 响应缓存层本身的设计决策：缓存 key 怎么归一化、精确匹配和语义匹配怎么选、TTL 与失效策略如何定，以及命中率的计算与优化方法。
-
把模型评测接进 CI 流水线
从数据集管理、评测触发时机到 CI 门禁设计，讲清楚如何把 LLM 评测嵌入日常 CI 流水线，让 prompt 和模型改动不再靠肉眼回归。
-
主流模型 P99 延迟对比
为什么平均延迟会掩盖真实体验，讲清楚 P99 延迟的测量方法、影响尾延迟的关键因素，以及如何搭建自己的模型延迟对比基准。
-
AI Code Review 误报治理实战
AI 代码评审跑起来后误报率如何量化、常见误报模式分类、抑制清单与反馈闭环设计，让评审意见的信噪比长期维持在可用水平。
-
客户端令牌桶限速进阶实现
超越单维度令牌桶的进阶限速方案：RPM/TPM 双维度联合限流、多进程分布式令牌桶、根据响应头动态调整速率，附完整可运行代码。
-
AI API 网关请求签名与防重放实现
自建或评估 AI API 网关时如何设计请求签名机制，防止重放攻击与密钥被盗用后的滥刷，含 HMAC 签名方案与时间窗口校验的具体实现。
-
多厂商故障切换落地：从设计图到能跑的代码
fallback 路由方案设计完之后，真正难啃的是流式响应中途切换、跨厂商会话状态对齐、副作用幂等这几个实现细节。本文给出落地层面的具体解法。
-
Codex 长任务状态交接方法
Codex 处理长任务时上下文会耗尽或需要中断重启，本文给出一套状态交接方法：检查点设计、HANDOFF 文件结构与新会话恢复流程。
-
多模型 API 错误码分类与统一处理
OpenAI、Anthropic、Gemini 错误码体系并不统一，本文给出一套跨厂商的统一错误分类模型与归一化代码实现，减少多模型切换时的错误处理债务。
-
自建 LLM 网关的路由实现：从零设计转发逻辑
从工程实现角度拆解自建 LLM 网关的路由层设计，包括路由规则匹配、健康检查、故障转移与负载均衡的具体代码思路。
-
AI 代码评审实战：让 AI 当 PR Reviewer
把 AI 接入 GitHub PR 评审流程的完整方案：触发、prompt 设计、评审维度、避免噪音、与人工 review 的边界。
-
用 AI 写 SEO 内容的工程化工作流
用 Claude / GPT 批量产出高质量 SEO 文章的实战工作流：选题、素材收集、写作模板、质量校验、发布与监控。
-
用 AI 做客服自动化的工程化方案
构建客户支持 AI 系统的完整工程化方案：意图识别、RAG 知识库、工具调用、人机协作、质量监控、合规边界。
-
用 AI 做数据分析的实战工作流
用 Claude / GPT 做数据分析的端到端流程：探索性分析、SQL 生成、可视化、报告自动化、与 Pandas 的配合。
-
用 AI 生成与维护技术文档的工程化流程
从代码自动产出 README / API 文档 / 用户指南 / Changelog 的实战方法，含 prompt 模板与质量校验。
-
AI 重构的 10 种实战模式
用 AI 做代码重构的高频场景与对应 prompt 模板：函数提取、类型加固、回调改 async、依赖注入、模块拆分等。
-
用 AI 批量生成单元测试的工程化方法
用 Claude / GPT 高质量批量生成单元测试的实战方法：prompt 设计、覆盖率优化、mutation testing 验证、CI 集成。
-
用 AI API 做高质量翻译的工程化流程
用 Claude / GPT / Gemini 做中英翻译的实战流程：模型选择、术语表、上下文保持、回译验证、批量处理与质量评估。
-
Anthropic Skills 实战：把能力封装成可复用包
Anthropic Skills（技能包）的概念、定义方式、与 Subagent/MCP 的差异、Claude Code 中的接入实战。
-
Claude Agent SDK 国内接入与实战
Anthropic Claude Agent SDK 在国内通过中转的接入方法，含 Subagent 定义、Hook 拦截、tool 注册、自定义 agent 的完整代码。
-
AI Agent 评估方法：怎么知道你的 Agent 真的有效
AI Agent 评估的工程化方法：成功率、步数、token、人工反馈、对抗测试、回归测试，含 SWE-Bench 等公开 benchmark 解读。
-
LLM 评估实战：怎么科学地比较两个模型
LLM 评估的工程化方法：测试集设计、自动评分、人工评分、A/B 测试、Promptfoo 与 LangSmith 实战。
-
降低 LLM 延迟的 10 种实战方法
AI 应用 TTFB 与总耗时优化全攻略：模型选择、prompt 精简、缓存、并行、预热、流式、就近接入、抢答策略实测。
-
LLM 可观测性实战：Langfuse 自部署完整指南
用 Langfuse 在国内自部署 LLM 应用可观测性平台：tracing、用量、成本、调试、用户反馈一站搞定，含 Docker 部署与接入示例。
-
LLM API 限速（Rate Limit）处理完整指南
OpenAI / Anthropic / Gemini 限速机制详解、客户端重试策略、令牌桶、跨账号分发、监控告警的工程化处理方法。
-
OpenAI Agents SDK 国内接入与实战
OpenAI 官方 Agents SDK 在国内通过中转的接入方法，含工具定义、handoff、guardrail、tracing 的完整实战代码。
-
Python 异步并发调用 LLM API 实战
Python asyncio 高并发调用 LLM API 的完整模式：连接池、限流、超时、重试、监控，含 100/min 任务的真实代码。
-
中文 RAG 工程实战：从分块到 Rerank 完整流程
中文 RAG 系统的工程实战指南，含文档解析、chunk 策略、embedding 选择、向量库、检索、rerank、生成全流程。
-
LLM 结构化输出完全指南（JSON Schema / Function Call）
OpenAI / Claude / Gemini 结构化输出（JSON Schema、Tool Use、Response Format）的完整对比与实战，含 Pydantic / Zod 集成。
-
LLM Token 计算完整指南：tiktoken / Anthropic / 中文
OpenAI / Anthropic / Gemini 三家模型 token 计算方法对比，中文 token 化特性、客户端预算、tiktoken 实战、Anthropic count_tokens API。
-
2026 向量数据库对比：Chroma/Qdrant/Milvus/pgvector
主流向量数据库横向对比：性能、规模、运维、成本、集成、混合检索能力，给中文 RAG 场景的选型建议。