用 openai Python SDK 或 httpx 调用兼容 OpenAI 的模型接口:怎么初始化客户端、只改 base_url 接入其他端点、读取普通响应和流式响应,以及超时、429 和 5xx 的重试处理。每一步都附可直接运行的代码。
接入 OpenAI 兼容的 AI API,核心是改对 base_url 并换上对应的 Key。本文按 Python、Node.js、LangChain、原生 HTTP 四种客户端给出配置写法,说明 /v1 路径怎么写才不会 404,以及流式输出、超时、429 重试在上线前该怎么设。
拿到 AI API Key 后,第一步是决定它放在哪里,然后再写调用代码。本文说明如何用环境变量和密钥管理系统注入 Key,如何用 OpenAI 兼容格式只改 base_url 完成接入,怎样按环境和业务拆分 Key,以及 Key 泄露后的处置顺序。
按“改了请求才会好”和“等一会儿可能就好”两类,讲清大模型 API 常见错误码的原因和排查顺序。重点区分 429 的速率限制与额度耗尽,并给出退避重试、断路器和降级的写法,避免空转重试和重试风暴。
大模型请求超时,大多是长上下文和长输出的耗时超过了客户端、Nginx 或 Cloudflare 的默认等待时间。本文按“判断断点、开启流式、分段设置超时、调整代理、控制重试和输出长度”的顺序,给出 Python SDK 与 Nginx 的配置示例,并说明各项设置的适用条件。
0 条留言