用 openai Python SDK 或 httpx 调用兼容 OpenAI 的模型接口：怎么初始化客户端、只改 base_url 接入其他端点、读取普通响应和流式响应，以及超时、429 和 5xx 的重试处理。每一步都附可直接运行的代码。
把大模型调用的错误分成「可重试的瞬态故障」和「重试也没用的确定性故障」，给出 Retry-After 优先、带抖动指数退避的参数取法，以及流式中断、SDK 内置重试嵌套、工具调用副作用这三个容易踩坑的场景的处理方式。
调用大模型 API 撞上 429 时，先看响应标头和 error code 再决定重试策略：带 Retry-After 就按它等，配额耗尽必须立刻停。文章给出限流的四个度量维度、六个余量标头的用法、带抖动的指数退避骨架，以及用令牌桶、max_tokens 收紧和按 Key 隔离在架构层规避限流的做法。
0 条留言
NexAIX-官方博客
