希望 AI 自己能通过一个指令或者什么工具调用来整理上下文

iFlow 补给站
1

虽然新推出的模型 iFlow-ROME-30BA3B 也支持很多上下文，但我仍然希望让大模型在每次回答的时候能在我同意的情况下或者是我明确下达指令的情况下清理一下历史的上下文，有些单次执行的任务结果不再重要，就不用占用上下文了，我感觉压缩上下文会让我的任务额外的空转一会儿，我看不到任何的反馈（Claude Code 会有一个 发送和接收 token 的动态显示，这就是一种反馈）

因此我希望：

  • 添加更多的动态显示确定我的任务没有卡死
  • 在压缩的时候明确告诉我正在进行上下文压缩
  • 添加让大模型能自己管理上下文的 tool
2

或许可以用类似压缩包的方式，让 AI 知道这里藏着更多信息
比如原有的信息：

  • 对多个 go 文件改写
  • 对多个 ts 文件改写
  • 对 tsconfig.json 改写

压缩后就在原始提示词中留下一个 "对 tsconfig.json 进行了改写以及后端和前端源码进行了数次变更.prompt.zip - " ，大模型想要看的时候再调用工具：

  • 查看提示词归档
  • args: hash
  • 查看详细文件：tsconfig.json 变动、后端源码变动

……但是多次嵌套后会造成提示词成倍增加，我目前还没有什么好办法来解决这个问题

而且这似乎会破坏大模型的缓存机制，似乎不一定能提高效率但一定能提高大模型的调用费用

3

我觉得这种上下文的处理要求其实是对上下文内容的筛选为目的

现在的ai交互方式常见的就是一条线一样的上下文流向

若是可以采用树形或者类似的方式在不同的分支上工作，每个分支的上下文继承主支，但摒弃了其他分支的干扰，让需要的上下文保留，且不同的任务上下文干净

这种方式还我还没有看见有什么项目实现了的(我也没专门去找)

目前就是开一个分支(例如最早的chatgpt，重新编辑历史消息可以分一个分支出来)，但不是上述那种构想为目的的，没有看见有人做这种高度管理上下文的对话方式

ps:回答对于题主的问题没啥实际作用，遇见你这个需求就随便说说了，因为上下文管理这个需求也是经常苦恼的

2 个赞
4

不是完全没帮助

A 分支可以作为原始分支存在

A+ 进行细碎的开发，有什么影响主线的直接将关键信息写入 A 分支就好

如果想做什么大型的改动，就直接抛弃 A+ 分支，从 A 上复制一个新的 A+ 分支以同步最新信息

1 个赞
5

是的，按照我的那种基本的构想，上下文管理能做很多事情，token也能节约，ai注意力也可能有提升

但是没人做呀

6

让时间解决这个问题，这个想法放在互联网上总有人能发现的（懒.png）

2 个赞