使用iflow本地化部署最新模型GLm4.6 Vfalsh

关于从modelscope下载GUFF文件,使用iflow cli 实现其中的ollama 模型create至ollama list中

:hugs:

首先:iflow cli讨论区都是活跃的人,请放心。哈哈哈,别管这句话!

ollama 的教程文档见
: 文档 – Ollama 中文文档|Ollama官方文档

modelscope模型区
:GLM-4.6V-Flash-GGUF
:hugs:
开始操作
首先先下载模型


找到电脑适配的量化模型

注意下载的位置在哪里!
OK啦,该让iflow cli上场了(释放双手时刻 :nerd_face:

哈哈哈,本想纯自动,(偷懒党不可取) :distorted_face:
但是下面这个提示词可以使用

当然也可以通过命令行下载可以去看官方哈!(别问我为什么不用,因为我暂时还没有看懂,哈哈哈 :sweat_smile:)


这里已经下载完成了文件了。


哦,对了,ollama的云端模型可以使用gemini-3-pro,大家可以尝试一下


通过先创建modelfile文件,然后运行ollama create命令来创建模型,哈哈哈,你还可以命名(小龙),这个文件可以设置模型的很多参数,包括温度啊等等,上下文窗口长度也可以,它是用于创建后成了新的模型(后续可以删去这个源文件)


这个位置要用最新的文件,一个小技巧,复制内容,或者复制文件地址后直接右键可以实现粘贴内容,复制文件地址


好啦,成功上传了!
测试运行

害,我这款还是不适合视觉,但是可以进行文本,大家可以下载更大的试试

欧克欧克,分享到此结束。

模型选用:Minimax-m2哈哈哈,没办法谁让它快啊,但是也是一个能够将推理过程结合到工具调用后的响应中,很合适。如果再想可控性的话,DeepSeek v3.2 chat是你的选择

:clap:

1 个赞

:+1: 就是本地运行 笔记本吃不消。

1 个赞

哈哈哈,是的是的,unsloth的模型量化以后好一点

量化后质量不好说哦。 我看你都Q2 了 :grin:

哈哈哈,确实是这样:grin: