シナリオ一覧測り方カタログシナリオモデル機材
pii-masking-ja の測定結果
run id: Apple-M5-Max_google-gemma-4-12b-qat_20260830-162840
- 仕事
- pii-masking-ja（12件 × 1行 / seed 411 / 定義 version 1）
- モデル
- google/gemma-4-12b-qat
- 推論サーバ
- LM Studio
- 接続先
- http://localhost:1234/v1
- 機材
- Apple M5 Max / メモリ 128GB / Darwin 25.5.0
- 測定日時
- 2026-08-30T16:28:40.090261+00:00
- 量子化
- unknown
- サーバ側の同時処理数
- 4
- 電源
- 電源に接続
- 1件の打ち切り
- 80秒
基準をすべて満たした同時実行数はありませんでした
結果
README「表の読み方」・METHOD.md「測っている値」より
- 同時に投げた本数: 何本を同時に処理させたか。登録ユーザー数ではありません。 人は読んだり考えたりしている時間の方が長いので、同時にさばける本数の 10〜20倍の人数が使えるのが目安です
- 最初の文字が出るまで / 返り終わるまで: 利用者が実際に待つ時間。 p95の値
- 1秒あたりの生成量: その本数のとき、環境全体が1秒間に作れた文字量
- 正答率: 抜き出したJSONが正解と一致した件数。 どの行も同じ正解を使い、文面だけ行ごとに変えているので、行をまたいで比べられます。 括弧内は95%区間（Wilsonスコア区間）で、件数が少ないほど広がります
- 判定: 割った基準をそのまま書きます。
※ が付く行は、点推定では正答率が 基準を割っているものの、区間の上端が基準を超えていて断定できない行です
p95 は補間せず、実際に測れた値をそのまま使います。補間すると、測っていない値が表に出てしまうためです。
| 同時に投げた本数 | 最初の文字まで | 返り終わるまで | トークン/秒 | 正答率（95%区間） | エラー | 判定 |
|---|
| 1 | 68.01秒 | 72.94秒 | 9 | 4/12 33%
14〜61% | 8 | エラーが出た |
時間超過 8件。そのモデルの答えの質を測れていない件で、不正解の中に入っている。採否の根拠には使えない。
グラフ
横軸は同時に投げた本数（対数）。赤い破線がこの測定で使った基準です。
使った基準
下の4つをすべて満たした行を「基準を満たす」としています。この数字はタスク定義に書いてあり、業務ごとに置き直すものです。
- 正答率 90% 以上
- 最初の文字まで 3.0 秒以内（p95）
- 返り終わるまで 40.0 秒以内（p95）
- エラー率 0%
この数字の前提
揃えている条件・揃えていない条件・この測り方では分からないことは測定条件にまとめてあります。別の測定と見比べるときは先に読んでください。