たくさんのモデルを、1 台のマシンで

企業が動かすモデルはひとつではありません。下書き用、検索用、画面読み取り用のモデルがみな同じ Mac を使いたがります。そして人が待っているモデルが、長いバッチ処理の後ろで止まってはいけません。

TurnVector は各モデルに、短く区切られた順番をマシン上で割り当てます。対話的な応答は速いまま、マシンはモデル間で公平に分け合われ、スループットは最後。前の 2 つを犠牲にすることはありません。

Rust で書かれ、12 レーン、385 ケースからなる独立したベンチマークで適格性を確認しています。このベンチマークは、欠けている機能を合格とは数えません。