分类：工程实战
共 41 篇文章。
-
LLM 应用的冷启动与预热策略：第一个请求为什么总是慢
从连接池、Prompt Cache 到函数计算冷启动，拆解 LLM 应用里"第一个请求特别慢"的几种成因，给出可落地的预热方案。
-
Agent 任务调度器设计：从队列到优先级的工程取舍
拆解 Agent 任务调度器的核心设计问题：任务队列模型、优先级抢占、并发限流与失败重试，给出可落地的架构选型建议。
-
同步请求路径的队列与背压设计：网关层怎么不被打爆
聚焦 LLM API 网关同步请求路径的排队与背压策略：何时该拒绝而非排队、队列深度与超时预算联动、多租户公平调度，附有界队列实现。
-
Prompt 变更如何做回归测试与灰度发布
讲清楚 Prompt 修改上线前的回归测试怎么搭、灰度发布怎么控制流量、出问题怎么用指标触发自动回滚，附可复用的评测集设计与脚本骨架。
-
响应缓存层设计与命中率：怎么把重复请求的钱省下来
聚焦 LLM 响应缓存层本身的设计决策：缓存 key 怎么归一化、精确匹配和语义匹配怎么选、TTL 与失效策略如何定，以及命中率的计算与优化方法。
-
Agent 长期记忆存储选型
向量数据库、图数据库、KV 存储、传统 SQL 四类方案怎么选来做 Agent 长期记忆？按读写模式和查询场景拆解决策依据。
-
把模型评测接进 CI 流水线
从数据集管理、评测触发时机到 CI 门禁设计，讲清楚如何把 LLM 评测嵌入日常 CI 流水线，让 prompt 和模型改动不再靠肉眼回归。
-
客户端令牌桶限速进阶实现
超越单维度令牌桶的进阶限速方案：RPM/TPM 双维度联合限流、多进程分布式令牌桶、根据响应头动态调整速率，附完整可运行代码。
-
多厂商故障切换落地：从设计图到能跑的代码
fallback 路由方案设计完之后，真正难啃的是流式响应中途切换、跨厂商会话状态对齐、副作用幂等这几个实现细节。本文给出落地层面的具体解法。
-
自建 LLM 网关的路由实现：从零设计转发逻辑
从工程实现角度拆解自建 LLM 网关的路由层设计，包括路由规则匹配、健康检查、故障转移与负载均衡的具体代码思路。
-
AI 代码评审实战：让 AI 当 PR Reviewer
把 AI 接入 GitHub PR 评审流程的完整方案：触发、prompt 设计、评审维度、避免噪音、与人工 review 的边界。
-
用 AI 写 SEO 内容的工程化工作流
用 Claude / GPT 批量产出高质量 SEO 文章的实战工作流：选题、素材收集、写作模板、质量校验、发布与监控。
-
用 AI 做客服自动化的工程化方案
构建客户支持 AI 系统的完整工程化方案：意图识别、RAG 知识库、工具调用、人机协作、质量监控、合规边界。
-
用 AI 做数据分析的实战工作流
用 Claude / GPT 做数据分析的端到端流程：探索性分析、SQL 生成、可视化、报告自动化、与 Pandas 的配合。
-
用 AI 生成与维护技术文档的工程化流程
从代码自动产出 README / API 文档 / 用户指南 / Changelog 的实战方法，含 prompt 模板与质量校验。
-
用 AI 写营销文案的实战工作流（中文场景）
中文营销文案 AI 工作流：素材收集、用户调研、品牌调性、模板复用、A/B 测试、避免 AI 味的具体技巧。
-
AI 重构的 10 种实战模式
用 AI 做代码重构的高频场景与对应 prompt 模板：函数提取、类型加固、回调改 async、依赖注入、模块拆分等。
-
用 AI 批量生成单元测试的工程化方法
用 Claude / GPT 高质量批量生成单元测试的实战方法：prompt 设计、覆盖率优化、mutation testing 验证、CI 集成。
-
用 AI API 做高质量翻译的工程化流程
用 Claude / GPT / Gemini 做中英翻译的实战流程：模型选择、术语表、上下文保持、回译验证、批量处理与质量评估。
-
Anthropic Skills 实战：把能力封装成可复用包
Anthropic Skills（技能包）的概念、定义方式、与 Subagent/MCP 的差异、Claude Code 中的接入实战。
-
Claude Agent SDK 国内接入与实战
Anthropic Claude Agent SDK 在国内通过中转的接入方法，含 Subagent 定义、Hook 拦截、tool 注册、自定义 agent 的完整代码。
-
Claude Code 接入 CI/CD：自动 PR 评审与 bug 修复
在 GitHub Actions / GitLab CI 里调用 Claude Code 进行 PR 评审、CI 错误自动修复、代码质量审计的完整方案与示例配置。
-
Claude Computer Use 实战：让 AI 操作你的电脑
Anthropic Computer Use 在国内通过中转接入的可行性、Docker 沙箱、用例与风险，含完整 Python 接入代码与边界提醒。
-
AI 图像生成 API 国内调用对比（GPT Image/DALL-E/Imagen/Flux）
OpenAI Images / Google Imagen / Black Forest Flux 等主流图像生成 API 在国内通过中转的接入对比与实战代码。
-
LangChain 中文实战：用中转接入构建 Agent
用 LangChain 在国内通过中转构建 LLM Agent 的实战指南，含 ChatOpenAI 配置、Tools、Memory、LCEL 链式调用、与 LangGraph 的对比。
-
LiteLLM 自部署 LLM 网关完整指南
用 LiteLLM 在国内自部署一个可用于多团队/多项目的 LLM 网关，含 Docker 部署、路由、限频、用量统计、Key 管理。
-
LlamaIndex 中文 RAG 完整教程
用 LlamaIndex 在国内构建 RAG 系统的实战教程，含文档加载、index 构建、查询、Agent、与 LangChain 的对比。
-
AI Agent 评估方法：怎么知道你的 Agent 真的有效
AI Agent 评估的工程化方法：成功率、步数、token、人工反馈、对抗测试、回归测试，含 SWE-Bench 等公开 benchmark 解读。
-
LLM 评估实战：怎么科学地比较两个模型
LLM 评估的工程化方法：测试集设计、自动评分、人工评分、A/B 测试、Promptfoo 与 LangSmith 实战。
-
降低 LLM 延迟的 10 种实战方法
AI 应用 TTFB 与总耗时优化全攻略：模型选择、prompt 精简、缓存、并行、预热、流式、就近接入、抢答策略实测。
-
LLM 可观测性实战：Langfuse 自部署完整指南
用 Langfuse 在国内自部署 LLM 应用可观测性平台：tracing、用量、成本、调试、用户反馈一站搞定，含 Docker 部署与接入示例。
-
LLM 流式 UI 实战模式：React / Vue / SvelteKit
AI 聊天界面的流式输出 UI 实战：SSE 解析、增量渲染、abort 控制、错误恢复、思考状态展示、tool call 可视化。
-
自定义 MCP Server 开发实战（Python + TypeScript）
用 Python FastMCP 和 TypeScript SDK 开发一个完整 MCP Server 的完整教程，含工具定义、状态管理、调试、发布与安全。
-
OpenAI Agents SDK 国内接入与实战
OpenAI 官方 Agents SDK 在国内通过中转的接入方法，含工具定义、handoff、guardrail、tracing 的完整实战代码。
-
Claude 并行 Tool Use 实战：一次调用多个工具
Claude 模型的并行 tool_use（同一回合内多个工具调用）原理、配置、性能优势与典型应用场景，含 Python 实战代码。
-
Python 异步并发调用 LLM API 实战
Python asyncio 高并发调用 LLM API 的完整模式：连接池、限流、超时、重试、监控，含 100/min 任务的真实代码。
-
中文 RAG 工程实战：从分块到 Rerank 完整流程
中文 RAG 系统的工程实战指南，含文档解析、chunk 策略、embedding 选择、向量库、检索、rerank、生成全流程。
-
LLM 结构化输出完全指南（JSON Schema / Function Call）
OpenAI / Claude / Gemini 结构化输出（JSON Schema、Tool Use、Response Format）的完整对比与实战，含 Pydantic / Zod 集成。
-
LLM Token 计算完整指南：tiktoken / Anthropic / 中文
OpenAI / Anthropic / Gemini 三家模型 token 计算方法对比，中文 token 化特性、客户端预算、tiktoken 实战、Anthropic count_tokens API。
-
2026 向量数据库对比：Chroma/Qdrant/Milvus/pgvector
主流向量数据库横向对比：性能、规模、运维、成本、集成、混合检索能力，给中文 RAG 场景的选型建议。
-
Whisper API 国内调用指南：中文语音转文字
OpenAI Whisper 与替代方案在国内通过中转的语音转文字实战：批量、流式、长音频、说话人分离、中文优化。