大模型请求超时,大多是长上下文和长输出的耗时超过了客户端、Nginx 或 Cloudflare 的默认等待时间。本文按“判断断点、开启流式、分段设置超时、调整代理、控制重试和输出长度”的顺序,给出 Python SDK 与 Nginx 的配置示例,并说明各项设置的适用条件。
0 条留言