标签:LLM 网关
共 3 篇文章。
-
AI API 网关请求签名与防重放实现
自建或评估 AI API 网关时如何设计请求签名机制,防止重放攻击与密钥被盗用后的滥刷,含 HMAC 签名方案与时间窗口校验的具体实现。
-
自建 LLM 网关的路由实现:从零设计转发逻辑
从工程实现角度拆解自建 LLM 网关的路由层设计,包括路由规则匹配、健康检查、故障转移与负载均衡的具体代码思路。
-
LiteLLM 自部署 LLM 网关完整指南
用 LiteLLM 在国内自部署一个可用于多团队/多项目的 LLM 网关,含 Docker 部署、路由、限频、用量统计、Key 管理。