大佬们,能够满足简单编程的小模型有什么可以推荐的呢?比如哪些蒸馏的模型。能够mac24g能跑,且256k上下文,40t/s的
qwen3.5 和 gemma4 的小模型都不错, 体量小速度快,而且性能也强,qwen3.5 好像还有个蒸馏 opus 4.6 的 9b 版本,24g 足够跑了
1 个赞
我所知道网上反馈最好的是qwen3.5-27B的
qwen3.6 35a3 不知道24gb行不行。这个听说和3.5 27b差不多,但混合专家,速度快很多。
不行的话,gemma也不错。
再不行,3.5 27b也很好。
我不清楚3.6 27b会不会发