说明如何用每秒输出词元数和每秒完成请求数衡量 AI API 吞吐量，如何通过阶梯压测找到合适的并发数，并按 RPM、TPM 限额估算容量。文章还给出连接复用、Prompt 缓存、控制词元用量和带抖动的 429 退避代码，帮助在吞吐量和首字延迟之间做取舍。
0 条留言
NexAIX-官方博客
