シナリオ一覧測り方カタログシナリオモデル機材
memo-actions-ja の測定結果
run id: Apple-M5-Max_google-gemma-4-12b-qat_20260828-142434
- 仕事
- memo-actions-ja（12件 × 1行 / seed 404）
- モデル
- google/gemma-4-12b-qat
- 推論サーバ
- LM Studio
- 接続先
- http://localhost:1234/v1
- 機材
- Apple M5 Max / メモリ 128GB / Darwin 25.5.0
- 測定日時
- 2026-08-28T14:24:34.618932+00:00
基準をすべて満たした同時実行数はありませんでした
結果
README「表の読み方」・METHOD.md「測っている値」より
- 同時に投げた本数: 何本を同時に処理させたか。登録ユーザー数ではありません。 人は読んだり考えたりしている時間の方が長いので、同時にさばける本数の 10〜20倍の人数が使えるのが目安です
- 最初の文字が出るまで / 返り終わるまで: 利用者が実際に待つ時間。 p95の値
- 1秒あたりの生成量: その本数のとき、環境全体が1秒間に作れた文字量
- 正答率: 抜き出したJSONが正解と一致した件数。 どの行も同じ正解を使い、文面だけ行ごとに変えているので、行をまたいで比べられます。 括弧内は95%区間（Wilsonスコア区間）で、件数が少ないほど広がります
- 判定: 割った基準をそのまま書きます。
※ が付く行は、点推定では正答率が 基準を割っているものの、区間の上端が基準を超えていて断定できない行です
p95 は補間せず、実際に測れた値をそのまま使います。補間すると、測っていない値が表に出てしまうためです。
| 同時に投げた本数 | 最初の文字まで | 返り終わるまで | トークン/秒 | 正答率（95%区間） | エラー | 判定 |
|---|
| 1 | 87.28秒 | 100.89秒 | 28 | 9/12 75%
47〜91% | 0 | 正答率・応答とも足りない ※ |
※ 正答率の95%区間の上端が基準を超えている行。基準を割ったと断定するには件数が足りない。
グラフ
横軸は同時に投げた本数（対数）。赤い破線がこの測定で使った基準です。
使った基準
下の4つをすべて満たした行を「基準を満たす」としています。この数字はタスク定義に書いてあり、業務ごとに置き直すものです。
- 正答率 90% 以上
- 最初の文字まで 2.0 秒以内（p95）
- 返り終わるまで 12.0 秒以内（p95）
- エラー率 0%
この数字の前提
揃えている条件・揃えていない条件・この測り方では分からないことは測定条件にまとめてあります。別の測定と見比べるときは先に読んでください。