排行榜不是起点
在基准测试中名列前茅的模型,仍然可能是错误的选择。如果它无法在你的数据所在之处运行,无法使用你被允许交给它的数据,或者在我们离开后你的团队照看不了它,那它的分数就无关紧要。
所以我们先划定边界,再选择模型。
先定下五件事
在哪里运行
你的 Mac、你的机房、你的云账户、物理隔离的机房,或你批准过的远程服务。每一种都会排除一些模型,也会留下一些模型。
可以接触什么
模型可以从哪些材料中学习或读取,哪些东西可以离开环境:输出、日志、提示词、临时文件。并决定结束时保留、归还或删除什么。
谁可以使用和更改
谁日常运行它,谁能更改它,谁审查它的工作,第一次交付之后由谁接手。
机器允许什么
内存、速度、一次需要读入多少文本、存储空间,以及会有多少人同时使用。
必须留下什么
测试样例、运行记录、已知局限的说明、回滚路径和操作说明,让运行模型的团队真正了解它。
边界如何改变选择
这些答案往往比任何基准测试更有决定性。它们决定了:
- 模型是在你自己的机器上运行,还是在批准过的远程服务中运行
- 是否必须压缩模型以适配硬件
- 在较小的模型上加适配器,是否比直接换掉模型更好
- 测试应侧重速度、准确性、格式,还是审查的便利程度
- 是否必须在任何人使用之前证明回滚路径可行
我们训练模型操作 Mac 软件时选择 Qwen3.5-9B,正是出于这个原因:它能读懂屏幕,又能在单台 Mac 上运行。
我们的工作顺序
- 边界。 在哪里运行、可以接触什么、由谁照看、机器允许什么。
- 候选清单。 只列出能放进这个边界的模型、适配器和运行时。
- 测试。 用你的任务样例、已知的难点、速度和审查标准,对候选清单逐一测试。
从能在边界内生存的模型里挑选。先选定模型再去划边界,就意味着从头再来。
