拿到 AI API Key 后,第一步是决定它放在哪里,然后再写调用代码。本文说明如何用环境变量和密钥管理系统注入 Key,如何用 OpenAI 兼容格式只改 base_url 完成接入,怎样按环境和业务拆分 Key,以及 Key 泄露后的处置顺序。
说明如何用每秒输出词元数和每秒完成请求数衡量 AI API 吞吐量,如何通过阶梯压测找到合适的并发数,并按 RPM、TPM 限额估算容量。文章还给出连接复用、Prompt 缓存、控制词元用量和带抖动的 429 退避代码,帮助在吞吐量和首字延迟之间做取舍。
从任务本身出发判断该不该用 GPT-5.6 Terra,给出 OpenAI 兼容端点的迁移改动、reasoning.effort 六档的选择依据与代价,以及百万上下文、128k 输出在生产环境的超时与截断处理,最后是四项可复现的降配验证方法。
0 条留言