invoice-json-ja の測定結果

README「表の読み方」・METHOD.md「測っている値」より

同時に投げた本数: 何本を同時に処理させたか。登録ユーザー数ではありません。人は読んだり考えたりしている時間の方が長いので、同時にさばける本数の 10〜20倍の人数が使えるのが目安です
最初の文字が出るまで / 返り終わるまで: 利用者が実際に待つ時間。 p95の値
1秒あたりの生成量: その本数のとき、環境全体が1秒間に作れた文字量
正答率: 抜き出したJSONが正解と一致した件数。どの行も同じ正解を使い、文面だけ行ごとに変えているので、行をまたいで比べられます。括弧内は95%区間（Wilsonスコア区間）で、件数が少ないほど広がります
判定: 割った基準をそのまま書きます。※ が付く行は、点推定では正答率が基準を割っているものの、区間の上端が基準を超えていて断定できない行です

p95 は補間せず、実際に測れた値をそのまま使います。補間すると、測っていない値が表に出てしまうためです。

同時に投げた本数	最初の文字まで	返り終わるまで	トークン/秒	正答率（95%区間）	判定
1	0.27秒	4.37秒	77	46/48 96% 86〜99%	基準を満たす
2	0.74秒	14.11秒	47	45/48 94% 83〜98%	正答率が足りない ※
4	2.24秒	22.23秒	58	45/48 94% 83〜98%	正答率・応答とも足りない ※
8	21.05秒	40.03秒	62	45/48 94% 83〜98%	正答率・応答とも足りない ※
16	55.02秒	71.12秒	61	45/48 94% 83〜98%	正答率・応答とも足りない ※
32	119.67秒	135.73秒	61	47/48 98% 89〜100%	応答が遅い

※ 正答率の95%区間の上端が基準を超えている行。基準を割ったと断定するには件数が足りない。

グラフ

横軸は同時に投げた本数（対数）。赤い破線がこの測定で使った基準です。

使った基準

下の4つをすべて満たした行を「基準を満たす」としています。この数字はタスク定義に書いてあり、業務ごとに置き直すものです。

この数字の前提

揃えている条件・揃えていない条件・この測り方では分からないことは測定条件にまとめてあります。別の測定と見比べるときは先に読んでください。