← 所有标签

标签：背压

共 1 篇文章。

• 2026年9月6日

  同步请求路径的队列与背压设计：网关层怎么不被打爆

  聚焦 LLM API 网关同步请求路径的排队与背压策略：何时该拒绝而非排队、队列深度与超时预算联动、多租户公平调度，附有界队列实现。