
쇼케이스
회계소 책상 앞의 모델
모델이 실제 사무 작업을 하는 실시간 3D 아레나. 각각 규칙 기반 도구와 비교해 점수를 매깁니다.
- 대사, 규칙 엔진
- 36
- 대사, 로컬 27B 모델
- 72
- 대사, GPT-5.6-SOL
- 84
왜 아레나인가
벤치마크 점수는 재무 책임자에게 거의 아무것도 말해 주지 않습니다. 그래서 일이 눈에 보이는 방을 만들었습니다. 천장에서 은행 거래 내역과 장부 두 줄의 종이 테이프가 늘어져 있고, 모델이 짝지은 항목은 금실로 꿰매집니다.
모든 아레나에는 실제 규칙 기반 기준과 정확한 정답이 있어서, 점수가 취향의 문제가 되지 않습니다.
실행 방식
지금은 아레나가 녹화된 실행을 재생합니다. 곧 브라우저 안에서 모델을 직접 돌리게 됩니다.
점수
| 아레나 | 규칙 | 로컬 27B | GPT-5.6-SOL |
|---|---|---|---|
| 대사 | 36 | 72 | 84 |
| 데이터 정제 | 31% | 83% | 100% |
| 쿼리 계획 | 56 | 63 | 99 |
모든 의뢰는 대화에서 시작됩니다.
어떤 일인지, 어떤 데이터를 갖고 있는지, 어디에서 돌아가야 하는지 알려 주세요. 영업일 기준 2일 안에 답장드립니다.
프로젝트 문의biz@random-walk.co.jp