シナリオ一覧測り方カタログシナリオモデル機材
contract-type-ja の測定結果
run id: Apple-M5-Max_ornith-1.5-35b-a3b_20260828-133838
- 仕事
- contract-type-ja（12件 × 1行 / seed 408）
- モデル
- ornith-1.5-35b-a3b
- 推論サーバ
- LM Studio
- 接続先
- http://localhost:1234/v1
- 機材
- Apple M5 Max / メモリ 128GB / Darwin 25.5.0
- 測定日時
- 2026-08-28T13:38:38.412984+00:00
基準をすべて満たした最大の同時実行数: 1本
結果
README「表の読み方」・METHOD.md「測っている値」より
- 同時に投げた本数: 何本を同時に処理させたか。登録ユーザー数ではありません。 人は読んだり考えたりしている時間の方が長いので、同時にさばける本数の 10〜20倍の人数が使えるのが目安です
- 最初の文字が出るまで / 返り終わるまで: 利用者が実際に待つ時間。 p95の値
- 1秒あたりの生成量: その本数のとき、環境全体が1秒間に作れた文字量
- 正答率: 抜き出したJSONが正解と一致した件数。 どの行も同じ正解を使い、文面だけ行ごとに変えているので、行をまたいで比べられます。 括弧内は95%区間（Wilsonスコア区間）で、件数が少ないほど広がります
- 判定: 割った基準をそのまま書きます。
※ が付く行は、点推定では正答率が 基準を割っているものの、区間の上端が基準を超えていて断定できない行です
p95 は補間せず、実際に測れた値をそのまま使います。補間すると、測っていない値が表に出てしまうためです。
| 同時に投げた本数 | 最初の文字まで | 返り終わるまで | トークン/秒 | 正答率（95%区間） | エラー | 判定 |
|---|
| 1 | 0.44秒 | 0.78秒 | 27 | 12/12 100%
76〜100% | 0 | 基準を満たす |
グラフ
横軸は同時に投げた本数（対数）。赤い破線がこの測定で使った基準です。
使った基準
下の4つをすべて満たした行を「基準を満たす」としています。この数字はタスク定義に書いてあり、業務ごとに置き直すものです。
- 正答率 90% 以上
- 最初の文字まで 3.0 秒以内（p95）
- 返り終わるまで 10.0 秒以内（p95）
- エラー率 0%
この数字の前提
揃えている条件・揃えていない条件・この測り方では分からないことは測定条件にまとめてあります。別の測定と見比べるときは先に読んでください。