Token Plant
多个
TurnVector 让多个 AI 模型共用一台 Apple Silicon 机器，同时让每一段对话都保持流畅响应。
- 状态
- 开发中
- 资格测试
- 12 条通道，385 个用例
问题
公司很少只运行一个模型。起草模型、检索模型、读屏模型都想用同一台 Mac，而有人正在等待的那个模型，不应该卡在一个长时间的批处理任务后面。
做法
TurnVector 给每个模型分配短而有界的轮次。交互式回答保持快速，机器在模型之间公平分配，吞吐量排在最后，绝不以牺牲前两者为代价。
它用 Rust 编写，并通过一套独立的基准测试进行资格验证，共 12 条通道、385 个用例，缺失的功能绝不算作通过。