分类：技术深度
共 80 篇文章。
-
严格模式结构化输出的能力边界：它保证什么、不保证什么
strict 模式能保证 JSON 一定符合 Schema，但保证不了语义正确。本文拆解约束解码的实现原理、不被支持的 Schema 特性、以及必须自己补上的四类校验。
-
stop sequence 的边界与坑
stop sequence 能结束文本生成，却不能证明 JSON 完整、工具执行成功或业务任务完成。本文从误命中、转义、流式分片、终止原因和接口迁移五个角度梳理边界，提供可复用的验收矩阵与发布检查方法，帮助开发者发现停止词导致的静默截断，区分输出限制与业务校验，并建立失败可观测、配置可回滚的接入方式。
-
图片输入的 token 计费机制
图片输入并不是按 JPEG 或 PNG 文件字节直接计费。本文拆解视觉模型如何缩放图片、切成 tile 或 patch、应用模型倍率并换算 billable token，比较 OpenAI、Anthropic 与 Gemini 当前机制差异，给出规则版本化、usage 回填、批量请求监控、成本预估和账单核对的工程方法。
-
采样参数对输出分布的实际影响
用重复采样实验解释 temperature、top_p、top_k、seed 与重复惩罚如何改变 LLM 输出分布，并给出可复现的参数评测与生产配置方法。
-
SSE 断线重连与消息去重：协议层设计怎么做
讲解 SSE 断线重连的协议层设计：Last-Event-ID 机制、事件 ID 分配策略、客户端消息去重方法，以及 LLM 流式场景下的实现取舍。
-
工具 Schema 版本演进与兼容：Agent 项目如何不被一次改字段搞崩
工具 Schema 迭代时新增字段、改类型、删参数，任何一步没兼容处理都可能让线上 Agent 静默出错。本文给出版本号策略、废弃流程与灰度方案。
-
超长会话的上下文淘汰策略：借鉴缓存算法管理 Agent 对话历史
用 FIFO/LRU/优先级淘汰等缓存算法思路，设计超长 Agent 会话的上下文淘汰策略，区分淘汰、压缩与归档三种手段的适用场景。
-
批处理 API 的排队与结果回收：状态机与轮询设计
OpenAI/Anthropic Batch API 提交后的排队生命周期怎么管：状态机设计、轮询退避策略、结果文件回收与 custom_id 对账、部分失败处理。
-
用 logprobs 做置信度判断：阈值怎么定才不是拍脑袋
讲解 logprobs 置信度分数为什么经常不校准、如何用可靠性曲线检验分数是否可信，以及自动放行/人工审核/拒答三档阈值的科学设定方法。
-
各家 tokenizer 差异对中文成本的影响
同一段中文文本在 GPT、Claude、国产大模型的 tokenizer 下 token 数能差出 1.5 倍以上，实测拆解差异来源与省钱思路。
-
Embedding 维度、速度与成本取舍
从存储成本、检索速度到召回精度，拆解 embedding 维度选择的实际影响，讲清楚何时该用 1536 维、何时用 256 维就够，以及 Matryoshka 降维的取舍。
-
AI API 网关请求签名与防重放实现
自建或评估 AI API 网关时如何设计请求签名机制，防止重放攻击与密钥被盗用后的滥刷，含 HMAC 签名方案与时间窗口校验的具体实现。
-
OpenAI、Anthropic、Gemini 工具 Schema 兼容层设计
三大厂商工具调用 Schema 字段名、类型系统、必填规则均不一致，本文给出一套可落地的中间表示与转换层设计，让 Agent 代码一次编写多模型运行。
-
多模型 API 错误码分类与统一处理
OpenAI、Anthropic、Gemini 错误码体系并不统一，本文给出一套跨厂商的统一错误分类模型与归一化代码实现，减少多模型切换时的错误处理债务。
-
LLM API 写操作幂等性设计
系统讲解 LLM API 写操作幂等性设计：如何定义业务结果、生成幂等键、处理并发请求、缓存失败状态，并用状态机与数据库约束避免重复扣费和重复执行工具。
-
跨厂商 SSE 流式解析器实现
从字节流分帧、SSE 字段解析到厂商事件适配，完整实现跨厂商 LLM SSE 流式解析器，并处理 UTF-8 分片、工具参数增量、结束信号与未知事件。
-
Gemini Context Caching 成本优化
系统讲解 Gemini Context Caching 的隐式与显式缓存选择、稳定 prompt 前缀设计、TTL 盈亏计算、不可变版本管理、租户隔离和 token 加权命中率监控，并通过缓存键、复用阈值与对照实验说明如何验证真实收益，避免因低复用、频繁换版或过长存储周期让成本优化适得其反。
-
Gemini Function Calling 工程实践
面向生产级 AI 应用，系统讲解 Gemini Function Calling 的函数声明、AUTO 与 ANY 等调用模式、参数三层校验、并行与组合执行、写操作幂等确认、工具结果裁剪和端到端可观测性，帮助开发者把简单演示升级为具备权限控制、失败恢复与回归评测的可靠工具调用链路。
-
Gemini Live API 会话状态设计
面向实时语音应用开发者，系统拆解 Gemini Live API 的 WebSocket 生命周期、会话恢复令牌、上下文压缩、GoAway 迁移、打断处理与业务状态持久化，并给出防止僵尸连接、重复工具调用和重连风暴的生产级状态机方案，以及上线前必须覆盖的故障注入和监控指标。
-
Anthropic Citations 与 RAG 组合实战
讲解如何把 RAG 检索结果转换为 Anthropic 可引用文档，启用 Citations、解析引用位置、渲染来源，并用召回与引用指标验证生产质量。
-
Computer Use 工具的安全边界设计
从隔离运行环境、最小权限、网络白名单、提示注入防护到高风险操作确认，系统讲解 Anthropic Computer Use 接入时应建立的安全边界与审计机制。
-
Anthropic tool_choice 参数完全指南
详解 Anthropic Messages API 中 tool_choice 的 auto、any、tool、none 四种模式，以及并行调用、严格 schema、扩展思考和缓存场景下的工程注意事项。
-
Anthropic Messages 流式中断恢复实战
Claude Messages API 流式响应中途断连后如何恢复：为什么不能简单重连、部分内容块的处理、工具调用态的恢复策略与幂等重试设计。
-
OpenAI Prompt Object 版本管理实战
详解 OpenAI 平台原生 Prompt Object 的版本管理机制：如何创建、发版、回滚，以及在 Responses API 中通过 id + version 引用，附中转环境兼容性排查。
-
reasoning_effort 参数的任务分级方法：如何按任务复杂度调档
详解 reasoning_effort 参数的取值含义、成本与延迟影响，给出按任务类型分级设置的实用方法与代码示例。
-
OpenAI service_tier 延迟与成本取舍：flex、priority 怎么选
详解 OpenAI service_tier 参数各档位的延迟特征、价格差异与适用场景，给出按业务优先级选型的实用判断表。
-
OpenAI Background Mode 异步任务设计
当 OpenAI Responses 请求会跑很久时，`background=true` 能把同步等待改成异步作业。本文聚焦任务状态机、轮询与 webhook 取舍、取消策略、ZDR 限制，以及生产环境该怎么落地。
-
OpenAI 内置工具的选型与组合：web_search、file_search、code_interpreter 怎么搭
拆解 Responses API 里的 web_search、file_search、code_interpreter、computer_use 等内置工具的适用场景、成本和组合方式，给出可直接套用的选型决策表。
-
OpenAI Webhook 签名校验与重放防护
OpenAI Webhook 已提供官方签名校验能力，但生产环境还需要自己补上原始请求体保留、事件幂等、时间窗校验和快速 ACK。本文从官方 SDK 用法讲到重放攻击防护的完整落地。
-
OpenAI Responses API 流式事件处理指南
基于 OpenAI 官方文档梳理 Responses API 的 SSE 流式事件模型，讲清文本增量、工具调用、失败恢复与服务端处理流程。
-
Responses API 多轮工具调用循环实战
基于 OpenAI 官方文档梳理 Responses API 的多轮 tool loop，用实战方式讲清 function_call、function_call_output、previous_response_id 与推理模型的注意点。
-
Anthropic Extended Output 用法与限制
拆解 Claude Extended Output（长输出）功能的开启方式、beta header 用法、流式传输要求，以及超长生成场景下的常见坑与成本估算。
-
LLM Batch JSONL 格式规范与陷阱
OpenAI 和 Anthropic Batch API 都要求 JSONL 输入文件，格式规范细节、custom_id 设计、编码陷阱一步错就整批任务失败，本文逐条拆解。
-
Claude 多轮工具调用循环健壮性设计：崩溃恢复与语义死循环防护
深入讲解 Claude 多轮工具调用循环的健壮性设计，涵盖语义死循环检测、并行调用部分失败处理、崩溃后断点续跑与中途取消机制。
-
LLM stop token 设计完全指南：从训练机制到业务场景选词
讲解 LLM stop token 的底层机制、训练时特殊 token 与推理时自定义停止词的区别，以及针对结构化输出、多轮对话、工具调用等场景的选词方法论。
-
OpenAI 与 Anthropic 缓存机制对比：多模型架构下的统一缓存层设计
从架构设计角度对比 OpenAI 自动缓存与 Anthropic 显式 cache_control 的控制粒度差异，讲解多模型路由场景下如何构建统一的缓存监控与 Prompt 结构规范。
-
Anthropic Tier 限制与升级路径详解
详解 Anthropic API 的 Usage Tier 分级体系，涵盖 RPM/TPM 限额计算、自动升级条件、国内开发者常见卡级场景与中转解决方案。
-
OpenAI Batch 与 Streaming 的选择决策
从延迟、成本、吞吐三个维度拆解 OpenAI Batch API 与 Streaming API 的适用边界，给出可直接套用的选型决策表与混合架构方案。
-
Claude token-efficient tool use 实战：压缩工具调用的输出 token
讲解 Claude token-efficient tool use beta 特性的原理、开启方式、实测收益与适用场景，帮助高频工具调用的 Agent 应用降低输出 token 成本。
-
LLM Prompt Injection 攻击模式图谱：从直接注入到多轮渗透
系统梳理 LLM 应用中常见的 Prompt Injection 攻击模式分类，包括直接注入、间接注入、编码混淆、多轮渗透等，帮助开发者建立威胁模型认知。
-
OpenAI Assistants API 与 Responses API 迁移指南
OpenAI 宣布 Assistants API 进入弃用倒计时，本文讲清楚它和 Responses API 的架构差异、迁移步骤、常见坑与中转兼容性排查方法。
-
Claude 长对话压缩与摘要策略
聚焦 Claude 生态下的长对话压缩实践，包括 Claude Code 的自动摘要机制、API 场景下的手动摘要模式，以及配合超长上下文窗口的取舍思路。
-
LLM 上下文预热（Context Priming）技巧实战
详解上下文预热的核心技巧：角色预热、示例预热、检索预热与记忆预热，帮助 Agent 在对话或任务开始时快速进入正确状态，降低试错成本。
-
Anthropic Prompt Improver 实战体验
实测 Anthropic Console 的 Prompt Improver 功能：它具体改了什么、哪些场景效果明显、哪些场景不如手动调，附改写前后对比。
-
OpenAI Fine-Tuning 国内使用指南
讲清 OpenAI Fine-Tuning 的适用场景、数据准备、调用流程与费用结构，以及国内开发者通过中转服务使用时要注意的关键限制。
-
Claude Skill、Tool、MCP 三者边界与协作关系详解
拆解 Claude 生态里 Skill、Tool Use、MCP 三个概念的职责边界，讲清楚什么时候该用哪个、三者如何在同一个 Agent 里协作。
-
按任务类型设置 LLM temperature 速查表
按代码生成、结构化输出、客服问答、创意写作等常见任务类型整理 temperature 推荐值速查表，附各家 API 的特殊限制说明。
-
Anthropic cache_control 五分钟入门到精通
手把手讲解 Anthropic API 里 cache_control 参数的用法：断点位置、TTL 选择、多段缓存嵌套，附完整可运行代码示例。
-
OpenAI Realtime API 国内使用指南
详解 OpenAI Realtime API 的 WebSocket 通信原理、语音交互实现方式，以及国内开发者接入时常遇到的网络与配置问题。
-
Claude 应用的 Prompt Injection 防御：从原理到工程实践
系统讲解 Prompt Injection 攻击在 Claude 应用中的常见形态，以及系统提示隔离、输入净化、权限分层等工程防御手段。
-
LLM 429 响应中 Retry-After 头的正确处理
详解 LLM API 429 响应里 Retry-After 头的格式差异、常见解析错误、与指数退避的优先级关系，附生产可用的正确处理代码。
-
Anthropic Vision 多图输入的最佳实践
Claude Vision API 处理多图输入时的请求结构、图片排序策略、token 预算控制与常见错误，附文档比对、UI 回归检测的实战代码。
-
Claude 流式 + 工具调用的正确姿势
讲清楚 Claude 在流式响应中携带 tool_use 内容块时的事件顺序、input_json_delta 拼接、以及工具执行后如何续接流式对话的完整实现。
-
OpenAI Completions 与 Chat API 选型与差异
深度对比 OpenAI Completions API 和 Chat Completions API 的接口设计、适用场景和成本差异，帮助开发者做出正确的 API 选型决策。
-
Claude 流式响应事件类型完全指南
完整解析 Claude API 流式响应的所有 SSE 事件类型：message_start/delta/stop、content_block 系列与 error 事件的数据结构与处理模式。
-
各家 LLM token 计数库对比与选型
tiktoken、anthropic-tokenizer、google-generativeai、transformers 四大 token 计数库横向对比：精度、速度、中文支持与工程集成指南。
-
Claude message_id 追踪与日志关联实战指南
深入解析 Claude API 的 message_id 字段：如何在生产环境中实现请求追踪、日志关联、错误回溯与多轮会话调试。
-
OpenAI Structured Outputs vs tool_choice 选型指南
深度对比 OpenAI Structured Outputs 与 tool_choice:required 两种强制结构化输出方案，分析适用场景与性能差异，含代码示例。
-
Anthropic Prompt Template 模板系统实战
深入讲解 Anthropic API 的提示词模板体系，从 Console 的 Prompt Library 到 SDK 的结构化消息组装，附可复用的工程化模板代码。
-
Claude Extended Thinking 的 token 预算分配
深度拆解 Claude Extended Thinking 的 thinking_budget 参数：如何按任务复杂度分配预算、避免浪费、在质量与成本之间找到最优点。
-
LLM finish_reason 各家差异处理指南
OpenAI、Anthropic、Gemini 的 finish_reason 字段命名和语义各不相同，本文梳理差异并给出统一处理代码，避免生产环境里的静默 bug。
-
LLM 上下文窗口实用指南：选型与成本控制
横比 2026 年主流 LLM 上下文窗口大小、定价与实际表现，帮你在长上下文与 RAG 方案之间做出正确选择。
-
Claude Message Batches 50% 折扣实战
深入解析 Claude Message Batches API 的 50% 费用折扣机制，结合真实场景给出成本优化策略与最大化节省的工程实践。
-
LLM 并行函数调用实战
跨模型（Claude/GPT/Gemini）并行函数调用的工程实践：依赖图设计、扇出查询模式、部分失败处理与生产环境性能优化，含完整代码。
-
Anthropic Files API 国内使用完整指南
详解 Anthropic Files API 上传、管理文件并在 Claude 多轮对话中复用，解决国内访问障碍，含 Python 示例与费用分析。
-
OpenAI File Search vs 自建 RAG：怎么选更合适
深度对比 OpenAI Assistants API 的 File Search 工具与自建 RAG 管道，从成本、可控性、中文支持、延迟等维度帮你做出选型决策。
-
Claude Citations API 引用功能详解：让 AI 回答有据可查
深入讲解 Claude Citations API 的工作原理、使用方法和最佳实践，帮助开发者构建可信赖的知识问答和 RAG 系统。
-
多模态 LLM 图片 token 计费详解：省钱的关键参数
深入解析 Claude、GPT-4o、Gemini 的图片 token 计算规则，对比不同分辨率、压缩策略的实际成本，附省钱技巧与计费陷阱。
-
Claude PDF 输入 API 国内使用指南
详解 Claude API 的 PDF 文档输入功能：支持哪些模型、如何构造请求、国内如何通过中转稳定调用，附完整代码示例。
-
系统提示与用户提示的边界：何时放哪里才正确
深入分析 LLM 中 system prompt 与 user prompt 的本质区别、优先级关系和实际划分准则，帮你写出更稳定可控的 AI 应用。
-
Claude stop_sequences 高级用法：精准控制输出边界
深入讲解 Claude API 的 stop_sequences 参数，涵盖多 stop 词组合、结构化输出截断、流式场景应用与常见陷阱，帮助开发者精准控制模型输出边界。
-
temperature 与 top_p 深度解析：LLM 采样参数实用指南
深入解析 LLM 的 temperature、top_p、top_k 等采样参数的原理与调优策略，含代码生成、创意写作、问答等场景的最佳实践配置。
-
LLM logprobs 在生产场景的实用价值
深入解析 LLM logprobs（对数概率）在置信度评估、不确定性检测、分类任务和 RAG 系统中的实际应用，含代码示例与实战建议。
-
OpenAI Batch API 节省 50% 成本实战
详解 OpenAI Batch API 的使用方法、适用场景与最佳实践，帮助开发者将推理成本降低 50%，大幅提升批量任务效率。
-
Anthropic Batch API 国内使用指南
详解 Anthropic Message Batches API 的原理、调用方式与国内中转接入方案，批量推理成本减半，效率翻倍。
-
Claude System Prompt 工程实战
从角色设定到上下文注入，深度拆解 Claude system prompt 的结构设计、长度控制、缓存策略与生产踩坑，附可复用模板。
-
response_format 参数完全指南：JSON 模式与结构化输出
深入讲解 LLM API 的 response_format 参数，涵盖 JSON mode、structured outputs、schema 校验及主流模型兼容性，帮助开发者稳定获取结构化数据。
-
各家 LLM JSON 模式横向对比：稳定性、速度与价格
深度对比 OpenAI、Claude、Gemini、DeepSeek 等主流 LLM 的 JSON 模式，涵盖稳定性测试、延迟基准和中文场景下的结构化输出最佳实践。
-
Function Calling vs Tool Use 差异辨析
深度对比 OpenAI Function Calling 与 Anthropic Tool Use 的 API 结构、并行调用、强制调用等核心差异，帮助开发者写出兼容多模型的 Agent 代码。
-
Claude Tool Use 最佳实践与陷阱
12 条 Claude Tool Use 设计与生产化经验：工具定义、tool_choice 三模式、调用循环、并行调用、token 优化、上下文爆炸防护与踩坑实录。