🔧 iFlow 更新了停服不停活 — 第三方模型全面增强补丁

楼主的iflow.js修订很好用(至少在windows环境下),流式输出、上下文占用进度和压缩、模型切换等已经用到。多模态和deepseek针对性适配待下一步验证。

还想知道并发功能0.5.19原版和楼主的修订版各是什么情况。
感谢!

看到帮助文件里有 mcp timeout 和 shell timeout, 但没看到有 agent run/loop timeout。如果使用自行部署的大模型,可能会因为解码速度慢,在推理结束前就自行终止了(API Error: The operation was aborted due to timeout])。
像 openclaw 这个值默认是10分钟,经常性不够用需要调的长一些。
另外,还有一个 node 底层的 unidici http 客户端据说是硬编码 5 分钟请求超时的,也是一个隐含 bug.

好的,自定义超时时间,我先记下

cli 碰到的推理相关 timeout 有很多种:
1)上面提到的[API Error: The operation was aborted due to timeout]实际发生场景是是有的推理引擎配置的上下文比较短(比大模型标称长度短),而cli一侧不知情这个情况按标准长度报文里送context-length然后推理引擎不干活了而造成的,不是真正的超时;
2)真正推理引擎未处理完解码的超时(包括http连接链路上的代理层比如nginx反代配置超时)体现的是[API Error: 生成数据错误: fetch failed:Headers Timeout Error];
3)实际上 iflow-cli可能不像openclaw,是没有agent loop超时的,因为实操即使在解码比较慢的本地部署大模型上也能跑好几个小时不带停的。
4) 但 iflow-cli 看起来有 /compress 任务超时,5分钟。如果与之对接的本地部署大模型不能在5分钟内完成压缩工作,重试3次后会抛出异常并停下来。

大佬真强

尊敬的停服不停活老哥,iflow-cli的tokens消耗量统计这个做过了吗?

尊敬的停服不停活老哥可还行 :rofl:

1 个赞

不自动压缩是因为拿不到token统计无法计算,压缩上下文失败是因为发送的请求是非流请求(需要服务器openai协议一次性吐回总结),第三方服务器只要拉跨点,就超时或者boom了.还有就是客户端请求后等待时间不够长(超时后,服务器压缩完毕了返回了,但是客户端已经断开连接了.).

token 计算:压缩时走本地估算(_estimateTokensFromText),不调 API。CJK 每个 1.5 token,英文每 4 字符 1 token