local-llm-fit

LLMが実際の業務にどこまで耐えるかを、自分の環境で測るツールです。

同じ業務タスクを何本も同時に投げて、「答えが合っているか」と「どれだけ待たされるか」を一緒に記録します。出てくるのは、同時に何本まで基準内でさばけるかの表です。

測られている組み合わせ

シナリオ	gemma-4-12b-qat	gemma-4-31b-qat	gemma-4-12B-it-QAT-GGUF	gemma-4-31B-it-QAT-GGUF	ornith-1.5-35b-a3b	Ornith-1.5-35B-A3B-GGUF	laguna-s-2.1	qwen3.8-27b
`invoice-json-ja`	—	—	—	—	—	—	—	—
`contract-terms-json-ja`	なし	なし	なし	なし	1本	なし	なし	なし
`payslip-json-ja`	なし	—	—	—	なし	—	—	—
`bank-statement-json-ja`	—	—	なし	なし	—	なし	—	—
`expense-account-code-ja`	なし	なし	なし	なし	なし	なし	なし	なし
`contract-type-ja`	なし	なし	なし	なし	1本	なし	—	なし
`pii-masking-ja`	なし	—	—	—	なし	—	—	—
`memo-actions-ja`	なし	なし	なし	なし	なし	なし	なし	なし
`long-report-ja`	—	—	—	—	1本	—	—	—
`policy-lookup-ja`	なし	なし	なし	なし	1本	1本	—	なし

数字は、その組み合わせで基準を満たした最大の同時本数。「なし」は測ったが基準を満たさなかったもの、「—」はまだ誰も測っていないもの。

results/ に出たJSONをそのままプルリクエストで送ってもらえると、機材・モデル・量子化の組み合わせごとの実測が溜まり、一覧ページに並びます。1つの環境で測れることには限りがありますが、集まれば「この構成なら何本までさばける」という比較表になります。

参考: 実務ではコードでやる仕事

導入判断: 実務でこの形のままLLMに渡す仕事。ポータルの逆引きに載せる
参考: LLMの限界を記録する値打ちはあるが、実務ではコードでやる仕事。逆引きには載せず、測定にも進めない

シナリオ	gemma-4-12b-qat	gemma-4-31b-qat	gemma-4-12B-it-QAT-GGUF	gemma-4-31B-it-QAT-GGUF	ornith-1.5-35b-a3b	Ornith-1.5-35B-A3B-GGUF	laguna-s-2.1	qwen3.8-27b
`company-name-normalize-ja`	なし	なし	なし	なし	なし	なし	なし	なし
`line-total-audit-ja`	なし	なし	なし	なし	なし	なし	なし	なし
`expense-category-total-ja`	なし	なし	なし	なし	なし	なし	—	なし
`contract-renewal-due-ja`	—	—	なし	なし	—	なし	—	—

数字は、その組み合わせで基準を満たした最大の同時本数。「なし」は測ったが基準を満たさなかったもの、「—」はまだ誰も測っていないもの。

シナリオ

族	シナリオ	状態	実測（モデル×機材の組数）
A. 構造化抽出	経理の支払処理。請求書からJSONを抜き出す`invoice-json-ja`	implemented	1
A. 構造化抽出	法務の契約台帳。契約書の基本条項をJSONにする`contract-terms-json-ja`	piloted	8
A. 構造化抽出	人事の応募管理。職務経歴書から応募者サマリを作る`resume-summary-json-ja`	candidate	0
A. 構造化抽出	人材・社内公募の台帳。求人票を構造化する`job-posting-json-ja`	candidate	0
A. 構造化抽出	営業のCRM入力。名刺のテキストをJSONにする`business-card-json-ja`	candidate	0
A. 構造化抽出	労務・本人確認。給与明細をJSONにする`payslip-json-ja`	piloted	2
A. 構造化抽出	経理の入金消込。銀行取引明細をJSON配列にする`bank-statement-json-ja`	piloted	3
A. 構造化抽出	秘書・営業。日程調整メールから予定JSONを作る`meeting-invite-json-ja`	candidate	0
A. 構造化抽出	不動産の物件台帳。物件概要をJSONにする`property-listing-json-ja`	candidate	0
A. 構造化抽出	代理店の証券管理。保険証券をJSONにする`insurance-policy-json-ja`	candidate	0
A. 構造化抽出	医療事務。診療明細をJSONにする`medical-receipt-json-ja`	candidate	0
A. 構造化抽出	受注処理。発注メールから注文JSONを作る`purchase-order-mail-json-ja`	candidate	0
B. 分類・ルーティング	CS。問い合わせを担当窓口に振り分ける`inquiry-routing-ja`	candidate	0
B. 分類・ルーティング	経理。経費の摘要から勘定科目を決める`expense-account-code-ja`	piloted	8
B. 分類・ルーティング	情シス/SRE。障害報告に重大度 Sev1-4 を付ける`incident-severity-ja`	candidate	0
B. 分類・ルーティング	採用。応募者が必須要件を満たすか判定する`applicant-requirements-ja`	candidate	0
B. 分類・ルーティング	総務の受信箱。営業メールか正当な案内かを判定する`solicitation-vs-notice-ja`	candidate	0
B. 分類・ルーティング	マーケ/CS。自由回答にトピックと極性を付ける`survey-topic-polarity-ja`	candidate	0
B. 分類・ルーティング	法務の受付。契約書の種別を判定する`contract-type-ja`	piloted	7
C. 書き換え	ログ・議事録の外部共有。個人情報を伏せる`pii-masking-ja`	piloted	2
C. 書き換え	文書管理。日付と数値の表記を統一する`date-number-normalize-ja`	candidate	0
C. 書き換え	顧客マスタ整備。住所を正規化する`address-normalize-ja`	candidate	0
C. 書き換え	名寄せ前処理。社名を正規化する`company-name-normalize-ja`	piloted	8
C. 書き換え	総務・営業事務。契約書の差し込み箇所を更新する`contract-fill-in-ja`	candidate	0
C. 書き換え	広報・経理。転記ミスを修正する`transcription-fix-ja`	candidate	0
D. 照合・検算	支払前チェック。請求書と発注書を突き合わせる`invoice-po-match-ja`	candidate	0
D. 照合・検算	経理・監査。明細の合計を検算する`line-total-audit-ja`	piloted	8
D. 照合・検算	秘書・施設管理。ダブルブッキングを検出する`double-booking-ja`	candidate	0
D. 照合・検算	労務。勤怠打刻と申請を突き合わせる`attendance-vs-request-ja`	candidate	0
D. 照合・検算	受注管理。在庫引当の可否を判定する`stock-allocation-ja`	candidate	0
D. 照合・検算	営業事務。見積と請求の条件一致を確認する`quote-invoice-terms-ja`	candidate	0
E. 変換	データ整備。崩れたCSVをJSONにする`broken-csv-json-ja`	candidate	0
E. 変換	店舗管理。シフト希望の自然文を可否表にする`shift-request-table-ja`	candidate	0
E. 変換	全職種。短い会話メモをアクション配列にする`memo-actions-ja`	piloted	8
E. 変換	CS。FAQリストと質問から該当番号を返す`faq-lookup-ja`	candidate	0
E. 変換	受付。電話メモの走り書きを伝言JSONにする`phone-memo-json-ja`	candidate	0
F. 長文・万字級	PM。日報の束から決定事項を拾う`long-report-ja`	implemented	1
F. 長文・万字級	法務。契約書全文から条項の所在と内容を答える`contract-clause-locate-ja`	candidate	0
F. 長文・万字級	営業/PM。メールスレッドから最新の合意を取る`mail-thread-latest-ja`	candidate	0
F. 長文・万字級	総務・労務。規程集から該当規程と数値を引く`policy-lookup-ja`	piloted	7
F. 長文・万字級	情シス。監査ログから条件に合う行を列挙する`audit-log-filter-ja`	candidate	0
F. 長文・万字級	全職種。会議の書き起こしから発言者別の宿題を出す`transcript-todo-ja`	candidate	0
G. 集計・計算	経理。経費をカテゴリ別に集計する`expense-category-total-ja`	piloted	7
G. 集計・計算	労務。勤怠から残業時間を算出する`overtime-calc-ja`	candidate	0
G. 集計・計算	営業企画。売上表から前月比と構成比を出す`sales-ratio-ja`	candidate	0
G. 集計・計算	受託業。工数表から請求額を出す`timesheet-billing-ja`	candidate	0
H. 判断系	与信管理。取引先リストと注意先を突き合わせる`counterparty-watchlist-ja`	candidate	0
H. 判断系	営業。RFQメールから条件を抽出し不足項目を指摘する`rfq-missing-fields-ja`	candidate	0
H. 判断系	総務の契約管理。基準日から90日以内に更新期限が来る契約を列挙する`contract-renewal-due-ja`	adopted	3
H. 判断系	PM・監査。議事録から保留・反対事項を抽出する`minutes-open-issues-ja`	candidate	0