여러 모델, 한 대의 장비

기업이 돌리는 모델은 하나가 아닙니다. 초안 모델, 검색 모델, 화면 읽기 모델이 모두 같은 Mac을 원하고, 사람이 기다리는 모델이 긴 배치 작업 뒤에서 멈춰서는 안 됩니다.

TurnVector는 각 모델에 짧고 제한된 차례를 줍니다. 대화형 응답은 빠르게 유지되고, 장비는 모델 사이에 공정하게 나뉘며, 처리량은 마지막입니다. 앞의 두 가지를 희생하는 일은 없습니다.

Rust로 작성했고, 12개 레인과 385개 사례로 이루어진 별도의 벤치마크로 적격성을 검증합니다. 이 벤치마크는 빠진 기능을 통과로 세지 않습니다.