看懂速度截图还得看任务怎样完成
有人晒出一张本地模型回答代码问题的截图,底部显示每秒生成 28.1 个 token,输出 237 个 token,解码耗时 8.44 秒。发帖者觉得慢,希望速度能到四五十。一个具体数字,很容易让人开始比较自己的机器。
但截图只留下了一小段过程。它没有交代完整输入、上下文长度、运行配置,也没有告诉人们这份回答是否正确。截图上方还出现了“已处理 25s”的字样;缺少进一步说明,不能把它直接与底部的解码时间当成同一种计时。
评论里的速度也各有条件。有人谈不同模型结构,有人提醒上下文长度,有人建议把复杂任务拆小。把这些数字排成榜单之前,先确认测的是同一件事,比较才有意义。
对日常使用来说,可以留一组固定任务:一份需要整理的材料、一段需要修改的代码、一个能检查结果的小需求。每次记录等待多久、返工几次,以及最后能不能用。速度之外,可靠性也会影响一天究竟完成多少事。
如果本地运行是为了省钱,还可以把配置维护花掉的时间一起记下来。用实际任务留下记录,才能慢慢找到适合自己的工作方式。