我提一嘴,还有一个免费的api来源是:
Try NVIDIA NIM APIs
因为我看的你用的也是k2。这两天英伟达上的k2-0905快的要死(150tok/s),估计没人用了,我一个人和它聊天爽飞了哈哈。喜欢它的语言风格,比k2.5好。估计比iflow自己的快。
还有一些新的但不算热门的模型,比如step 3.5 flash,也挺快。
热门的模型就很卡了。英伟达这个算捡漏,可以找一些没人用但是性能好的模型。
2 个赞