一幅油画:一位细木工在打造合适的座钟之前,用铜头量杆测量空着的壁龛,地上放着一个现代激光测距仪。

笔记

先定模型在哪里运行,再选模型

排行榜上最好的模型,可能正是不适合你的那一个。先定下它在哪里运行、可以接触什么、由谁照看,再做选择。

排行榜不是起点

在基准测试中名列前茅的模型,仍然可能是错误的选择。如果它无法在你的数据所在之处运行,无法使用你被允许交给它的数据,或者在我们离开后你的团队照看不了它,那它的分数就无关紧要。

所以我们先划定边界,再选择模型。

先定下五件事

在哪里运行

你的 Mac、你的机房、你的云账户、物理隔离的机房,或你批准过的远程服务。每一种都会排除一些模型,也会留下一些模型。

可以接触什么

模型可以从哪些材料中学习或读取,哪些东西可以离开环境:输出、日志、提示词、临时文件。并决定结束时保留、归还或删除什么。

谁可以使用和更改

谁日常运行它,谁能更改它,谁审查它的工作,第一次交付之后由谁接手。

机器允许什么

内存、速度、一次需要读入多少文本、存储空间,以及会有多少人同时使用。

必须留下什么

测试样例、运行记录、已知局限的说明、回滚路径和操作说明,让运行模型的团队真正了解它。

边界如何改变选择

这些答案往往比任何基准测试更有决定性。它们决定了:

  • 模型是在你自己的机器上运行,还是在批准过的远程服务中运行
  • 是否必须压缩模型以适配硬件
  • 在较小的模型上加适配器,是否比直接换掉模型更好
  • 测试应侧重速度、准确性、格式,还是审查的便利程度
  • 是否必须在任何人使用之前证明回滚路径可行

我们训练模型操作 Mac 软件时选择 Qwen3.5-9B,正是出于这个原因:它能读懂屏幕,又能在单台 Mac 上运行。

我们的工作顺序

  • 边界。 在哪里运行、可以接触什么、由谁照看、机器允许什么。
  • 候选清单。 只列出能放进这个边界的模型、适配器和运行时。
  • 测试。 用你的任务样例、已知的难点、速度和审查标准,对候选清单逐一测试。

从能在边界内生存的模型里挑选。先选定模型再去划边界,就意味着从头再来。

每一件委托,都从一次谈话开始。

告诉我们要做的工作、你手里有哪些数据、模型需要在哪里运行。我们会在两个工作日内回复。

洽谈项目biz@random-walk.co.jp