标签:流式响应
共 6 篇文章。
-
stop sequence 的边界与坑
stop sequence 能结束文本生成,却不能证明 JSON 完整、工具执行成功或业务任务完成。本文从误命中、转义、流式分片、终止原因和接口迁移五个角度梳理边界,提供可复用的验收矩阵与发布检查方法,帮助开发者发现停止词导致的静默截断,区分输出限制与业务校验,并建立失败可观测、配置可回滚的接入方式。
-
SSE 断线重连与消息去重:协议层设计怎么做
讲解 SSE 断线重连的协议层设计:Last-Event-ID 机制、事件 ID 分配策略、客户端消息去重方法,以及 LLM 流式场景下的实现取舍。
-
Anthropic Messages 流式中断恢复实战
Claude Messages API 流式响应中途断连后如何恢复:为什么不能简单重连、部分内容块的处理、工具调用态的恢复策略与幂等重试设计。
-
Claude 流式 + 工具调用的正确姿势
讲清楚 Claude 在流式响应中携带 tool_use 内容块时的事件顺序、input_json_delta 拼接、以及工具执行后如何续接流式对话的完整实现。
-
Claude 流式响应事件类型完全指南
完整解析 Claude API 流式响应的所有 SSE 事件类型:message_start/delta/stop、content_block 系列与 error 事件的数据结构与处理模式。
-
LLM 流式响应背压处理:防止服务端被打爆的实战指南
深入讲解 LLM 流式响应中的背压问题成因、检测方法与解决方案,帮助工程师构建稳定高效的 AI 应用后端。