训练跑完,不等于模型做完
微调训练结束时,你得到的是一个文件。至于你的员工能不能依靠它,是另一个问题。
在适配器进入客户环境之前,我们会回答关于它的四个问题,并把每个答案背后的证据一起交付。只要有一个问题还没有答案,这个适配器就还没准备好。
它能完成工作吗?
用它被训练来做的工作去测试,所用的样例在训练开始前就与你约定好。通用的质量分数,很难说明它能不能正确起草你的条款,或读懂你的屏幕。
说清楚数字的含义。我们训练一个 Qwen3.5-9B 适配器来操作 Mac 软件时,它在一套固定的 477 步测试上的动作得分从 0.33 提高到了 0.77。其中一部分提升来自模型学会了答案格式,所以我们如实这样报告,并把它当作我们自己的离线测试,而不是对真实任务成功率的衡量。
它弄坏了什么?
适配器可能让模型在一件事上变好,却在别的事上悄悄变差。拿它和基础模型比较,看看基础模型原本就做得好的工作:
- 变得更弱或更含糊的回答
- 走样或出错的格式
- 拒绝得太多,或在不该回答时回答
- 基础模型原本没有的新的薄弱之处
它能在必须运行的地方运行吗?
在它将来所在的那台机器上检查,按那台机器允许的内存、速度和上下文长度来测。只能在我们硬件上运行的适配器,等于没有测试过。
它能被关掉吗?
在任何人依赖它之前,在真实的运行时里加载它、停用它、替换它、回滚它。事先决定什么情况会触发回滚,以及谁有权执行。
随适配器一起交付的东西
适配器绝不应该以一个孤零零的文件交出去。它要附带一份简短的证据包:
- 它基于哪个基础模型训练
- 哪些数据塑造了它,并注明对应的数据集卡片
- 训练设置
- 测试样例和结果
- 它在哪里失败或变差
- 如何启用、如何停用、如何回滚
- 谁审查过它,是否已被接受
证据包不是为了让适配器显得好看,而是为了让任何人都能看清它的表现。
上线前的六个问题
- 它要改进的是什么任务?哪些样例证明它做到了?
- 哪些样例显示没有改进,或者出现了退步?
- 测试用的是哪个基础模型和哪个运行时?
- 如何启用?如何停用?
- 什么情况会让我们回滚?
- 谁批准它在你的员工或客户中使用?
六个问题都有了答案,适配器就可以进入你的环境,并且在那里可以被审查、启用和撤回。
