Skip to content

支持为自部署模型配置请求超时时间(request timeout) #3874

Description

@404805854

你希望看到什么功能?

config.toml 中支持配置
[providers.oMLX]
request_timeout_ms = xxx

[models."oMLX/qwen3.8-27b"]
request_timeout_ms = xxx
用于控制模型返回超时,避免任务进行一段时间后,上下文变长导致中途开始不可用

补充信息

Kimi Code CLI 是一个很好的开箱即用的工具,但是套餐额度很尴尬,所以会有使用 Kimi Code CLI 连接本地部署的模型做一些简单任务的需求。目前已经适配了 lmstudio 等其他本地部署引擎并且可以正常使用,但是自部署模型在长上下文或复杂推理场景下耗时较长,单次请求经常需要数分钟才能返回。目前 CLI 似乎没有暴露“模型请求超时”的配置项,导致请求容易被内部超时中断,影响正常使用。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions