iFlow CLI 的模型上下文大小疑惑

有点不太确定上下文大小是怎么计算的

“Context compressed from 67,809 to 28,295 tokens” 以后 “minimax-m2 65% context left”, 说明总上下文只有 80K 大小? M2 原生是 204800 的窗口,就算系统提示占去一些,也不至于只留 80K 给用户吧?

1 个赞

不太清楚这里的80k是怎么计算出来的,麻烦补充说明下

65% context left,也就是说压缩后的 28,295 是 35%,那么 100% 就 ~= 80,842

你好,这里的上下文压缩只是压缩了部分的内容,没有对全量进行压缩,我们系统还有很多system prompt,而且我们是在70%左右上下文会启动压缩,M2上下文长度是128K

感谢回复!

M2 为什么不给 204K 呢?

其它模型都给了多大上下文的?