← 所有标签

标签：Prompt Cache

共 2 篇文章。

• 2026年9月9日

  LLM 应用的冷启动与预热策略：第一个请求为什么总是慢

  从连接池、Prompt Cache 到函数计算冷启动，拆解 LLM 应用里"第一个请求特别慢"的几种成因，给出可落地的预热方案。

• 2026年8月19日

  Prompt Cache 命中率监控：从盲目省钱到有数据支撑

  讲解如何采集、计算并监控 Prompt Cache 命中率，涵盖指标定义、日志埋点、告警阈值设计，让缓存优化效果可度量。