
ショーケース
勘定所の机に向かうモデル
モデルが実際の事務作業をこなすライブの 3D アリーナ。それぞれルールベースのツールと比べて採点します。
- 照合、ルールエンジン
- 36
- 照合、ローカル 27B モデル
- 72
- 照合、GPT-5.6-SOL
- 84
なぜアリーナなのか
ベンチマークのスコアは、財務責任者にはほとんど何も伝えません。そこで、仕事が目に見える部屋をつくりました。天井から銀行明細と帳簿の 2 本の紙テープが垂れ、モデルが突き合わせた取引は金の糸で縫い合わされます。
どのアリーナにも実在するルールベースの基準と正確な正解があるので、スコアが好みで左右されることはありません。
動かし方
いまのところ、アリーナは記録した実行を再生しています。近いうちに、ブラウザの中でモデルを動かせるようになります。
スコア
| アリーナ | ルール | ローカル 27B | GPT-5.6-SOL |
|---|---|---|---|
| 照合 | 36 | 72 | 84 |
| データ精製 | 31% | 83% | 100% |
| クエリ計画 | 56 | 63 | 99 |
どの依頼も、まずお話を伺うところから。
どんな業務か、どんなデータをお持ちか、どこで動かす必要があるかをお聞かせください。2 営業日以内にご返信します。
プロジェクトの相談biz@random-walk.co.jp