标签：API管理
共 4 篇文章。
-
客户端令牌桶限速进阶实现
超越单维度令牌桶的进阶限速方案：RPM/TPM 双维度联合限流、多进程分布式令牌桶、根据响应头动态调整速率，附完整可运行代码。
-
AI API 网关请求签名与防重放实现
自建或评估 AI API 网关时如何设计请求签名机制，防止重放攻击与密钥被盗用后的滥刷，含 HMAC 签名方案与时间窗口校验的具体实现。
-
自建 LLM 网关的路由实现：从零设计转发逻辑
从工程实现角度拆解自建 LLM 网关的路由层设计，包括路由规则匹配、健康检查、故障转移与负载均衡的具体代码思路。
-
多模型成本智能路由方案：让 AI 调用自动选最优性价比
详解多模型智能路由设计：按任务复杂度自动分配模型，结合缓存、批处理与动态定价，将 LLM 成本降低 40%~70%。