注文書の読み取り精度の測り方——文字単位・項目単位・1枚まるごとの違いと、試す件数

「精度 95％」は、何の 95％か

読み取りの仕組みを比べると、「精度 95％」「認識率 99％」といった数字が並ぶ。ところが、この数字が何を分母にして、何を正しいとみなしたものかが書かれていないことが多い。注文書の読み取りでは、少なくとも次の 3 通りの数え方がある。

文字単位は、読み取った文字のうち正しかった文字の割合である。項目単位は、品番・数量・納期といった項目のうち、項目の中身が全部正しかった割合で、1 文字でも違えばその項目は誤りになる。1 枚まるごとは、注文書 1 枚のすべての項目が正しかった割合である。

総務省の自治体向けの手引きには、茨城県つくば市が他の自治体と共同で行った読み取りの検証の結果として、市の帳票 20 種類の正しく読めた割合が文字単位で 93.41％、項目単位で 89.11％だったと書かれている。同じ手引きには、本格導入したあとの読み取りの精度は 95％程度とも書かれている^[1]。同じ帳票でも、文字単位と項目単位で 4 ポイント以上違う。そして、どちらの数字も、注文書を 1 枚まるごと人の手を入れずに受注表へ入れられる割合ではない。

項目単位の割合から、1 枚まるごと正しい割合はどうなるか

1 枚の注文書に入れる項目が多いほど、1 枚まるごと正しい割合は下がる。次の表は、各項目が正しく読める割合が同じで、項目どうしの誤りが互いに関係なく起きると仮定したときの計算例である（実際には、かすれた FAX では同じ注文書の中で誤りが固まりやすいので、この通りにはならない）。

項目ごとに 95％正しく読めても、12 項目ある注文書が 1 枚まるごと正しいのは半分程度にとどまる、という見当がつく。これは「読み取りが役に立たない」という意味ではない。多くの注文書で、人が直すのは 1〜2 項目で済むということでもある。大事なのは、どの数字を見て判断しているかを社内でそろえることと、直す必要のある項目に人の目が確実に向く作りになっているかである。

受注事務で見る 2 つの数字

読み取りの結果は、項目ごとに次の 4 つのどれかに分けて記録する。

1 つ目に見る数字は、項目ごとの正しく読めた割合（A＋B）である。2 つ目は、D の割合である。印の付いた所だけを人が見る運用にするなら、D は人の目を素通りして、違う品番や違う納期の受注として進む。注文書の読み取りで大切なのは、全体の精度を上げることより、D を小さくし、D が出やすい項目と注文書の種類を知っておくことである。B と C の合計は、人が確かめる量の目安になる。

項目は、受注表に入れる項目ごとに分けて数える。品番・数量・納期・納入先・単価は、誤ったときの影響が違うので、まとめて 1 つの割合にしない。注文書に書かれる項目は、取適法の発注書面の規則が定める事項（当事者の名称や番号、発注した日、給付の内容、受領する期日と場所、代金の額と支払期日など）とおおむね重なるので^[3]、この並びで項目を決めておくと、注文書ごとに数える項目がぶれにくい。人が全件見る項目と印が出たときに見る項目の分け方はAI-OCR で注文書を読むときに書いた。

「同じ」とみなす決まりを、測る前に決める

読み取り結果と正解を比べるとき、何を同じとみなすかを決めておかないと、測る人によって数字が変わる。決めておくことの例を挙げる。

数字の桁区切り（「1,000」と「1000」）、全角と半角（「１００」と「100」）、品番の中のハイフンや空白（「AB-123」と「AB123」）、単位の付け方（「100 個」と「100」）、日付の書き方（「7/10」「7月10日」「2026/07/10」）、注文書に書かれた略称と正式な納入先名。受注表に入れるときに同じものとして扱うなら、比べるときも同じとみなす。逆に、品番の「-01」と「-02」のように、違えば別の物になる違いは、1 文字でも誤りとして数える。この決まりは項目ごとに文書にして、試しの間は変えない。

正解は、既存の受注表ではなく原本から作る

試しに読み取らせた注文書の正解として、すでに人が入力した受注表の行を使いたくなる。しかし、受注表には人の入力ミスが混ざっている可能性がある。受注表と読み取り結果が食い違ったとき、誤っているのがどちらなのかが分からなくなる。

正解は、試しに使う注文書の原本から作り直す。2 人が別々に、お互いの結果を見ずに入力し、食い違った所だけを原本で確かめて決める。1 人しかいない場合は、時間を置いて、1 回目の結果を見ずにもう一度入力し、食い違いを原本で確かめる。これは、確かめ方を比べた実験の結果から類推したやり方である。鉄道総合技術研究所の研究者による文字探しの実験では、1 人が 2 回確かめる場合に、1 回目の結果を見ないで確かめたほうが見逃しが少なく、1 回目の結果を見ない条件では 1 人が 2 回確かめても 2 人で確かめても見逃しの数に違いは見られなかった^[4]。正解づくりそのものを調べた実験ではないが、前の答えを見ずに作ることの大切さは同じだと考えられる。正解を作る段階で読み取り結果を見てしまうと、読み取り結果に引っ張られて、誤りを正解として登録してしまうので、読み取り結果は正解を作り終えてから開く。

試す注文書の選び方——分けて集め、分けて数える

読み取りやすい注文書だけで試すと、数字は良く出るが、本番では手書きや様式の違う注文書で D が出る。総務省の手引きに載っているつくば市の共同研究でも、実際に扱う予定かどうかにかかわらず、帳票の特徴にバリエーションを持たせて検証したとされている^[1]。注文書でも同じように、次の軸で分けて集める。

客先（件数の多い客先から順に）、様式（客先ごと、同じ客先でも様式が変わった回）、印字か手書きか、FAX か PDF かスマホで撮った写真か、訂正や書き足しがあるか、複数ページか。集めた注文書は、本番で届く割合に合わせた「ふだんの組」と、読みにくい注文書だけを集めた「難しい組」に分け、結果も組ごとに出す。ふだんの組の数字は人が確かめる量の見積りに使い、難しい組の数字は D がどこで出るかを知るために使う。客先ごとの様式の数や手書きの割合を数えるやり方は受注入力の自動化をどこから始めるかでも使う。

件数は「誤りが 0 件でも言える上限」から決める

試した結果、誤りが 0 件だったとしても、それで「誤りは起きない」とは言えない。試した件数が少なければ、たまたま誤りに当たらなかっただけかもしれないからである。米国国立標準技術研究所（NIST）の統計の手引きは、不良の数や試料の数がごく少ないときは、正規分布で近似した左右対称の信頼限界は用途によっては十分に正確でないことがあるとして、二項分布に基づく厳密な方法の計算式を示している^[2]。この式で誤りが 0 件のときの上限を計算すると、次のようになる（両側 95％の信頼区間の上限）。

たとえば「品番の D（印のない誤り）が 2％を超えないことを確かめたい」なら、品番だけで 200 件程度、誤り 0 件という結果が要る、という見当になる。ここでの件数は項目の件数で、注文書の枚数ではない。ただし、同じ注文書の中の項目は、同じ画像の質や同じ書き手の癖を共有しているので、互いに独立とは言えない。明細の多い注文書を数枚読ませて項目数を稼ぐと、数字が実際より良く見える。項目の件数とあわせて、注文書の枚数と客先の数も記録し、1 つの客先・1 枚の注文書に項目が偏らないように集める。

D がまったく出ないことを確かめるために何百枚も集めるのが難しい場合は、全件見る項目を決めておくことで補う。品番・数量・納期・納入先・備考の 5 項目は、読み取りの結果にかかわらず人が原本と全件見比べる扱いにし（単価は単価表と検算で見る）、そのとき読み取り結果より先に原本の画像を読むようにしておけば、これらの項目で D が少し残っていても、人の目で止まる見込みが高くなる。ただし、結果を先に見ると引っ張られやすいので、確かめ方の決まりを守ることが前提になる。件数を集めて確かめるのは、印が出たときだけ見る扱いに移したい項目に絞ればよい。

試しのために注文書を外に出すとき

読み取りの仕組みを試すとき、自社の注文書を仕組みを提供する会社に渡したり、インターネットの先のサービスに読み込ませたりすることがある。注文書には客先の担当者の名前や連絡先、図番や単価が書かれている。個人情報保護委員会は、生成 AI のサービスに個人情報を含む指示を入力する場合、特定された利用目的を達成するために必要な範囲内であることを十分に確認するよう注意を呼びかけている^[5]。読み取りに生成 AI を使うサービスで試すときは、この点を確かめる。試しに出した画像がどこに保存され、試しが終わったあと消されるのかを、試す前に書面で確かめる。客先と秘密保持の取り決めがあるなら、注文書を外に出してよいかもその取り決めに照らす。必要なら、担当者名や単価の欄を塗りつぶした写しで試す（その場合、塗りつぶした項目は測れないことを結果に書いておく）。

結果の記録と、本番が始まってからの測り方

試しの結果は、客先・注文書の種類（ふだんの組・難しい組）・項目ごとに、A〜D の件数と、注文書の枚数を 1 枚の表にまとめる。読み取りの仕組みを比べるときは、同じ注文書の組で、同じ「同じとみなす決まり」を使って測る。仕組みの説明書きにある精度の数字は、測った帳票も数え方も違うので、自社の結果と並べて比べない。

本番が始まってからも、週に何枚かを抜き出して、原本から正解を作り、D が出ていないかを確かめ続ける。客先が様式を変えた、新しい客先が増えた、FAX の機械を入れ替えた、といった変化のあとは、その分を多めに抜き出す。人が確かめる段階で見つかった誤りは、どの項目で、印があったかなかったかを記録しておくと、D がどこで出ているかが本番のデータから分かる。入れた仕組みが現場で本当に使われているかを、入力されるはずの件数と比べて数で見る考え方は工場に入れたツールが現場で使われない理由にある。誤りを型で数えるやり方は受注入力のミスを二重チェックに頼らず防ぐに書いた。試しから本番に移すときに、続けるかどうかを何で決めるかは工場での試験導入を本番につなげるに考え方がある。

よくある質問

仕組みの説明にある「認識率 99％」と、自社で測った数字を比べてもよいですか

そのままは比べられない。説明の数字が文字単位か項目単位か、どんな帳票で測ったか、何を同じとみなしたかが自社の測り方と同じでなければ、同じ 99％でも意味が違う。比べるなら、自社の注文書で、同じ決まりで測った数字どうしにする。

手書きの注文書は、別に測ったほうがよいですか

別に測る。手書きは印字より誤りが出やすく、混ぜて測ると全体の数字に埋もれる。手書きの割合が低い工場でも、手書きの注文書で D が出るなら、手書きは全項目を人が見る扱いにする、という判断ができる。手書きで読み違えやすい文字は手書きの注文書で読み違えやすい所にまとめた。

精度が何％なら導入してよいですか

何％という一律の線はない。B＋C（人が確かめる量）が今の打ち込みの手間より十分少なく、D が出たときに後の照らし合わせ（品目マスタ・単価表・検算）で止まるなら、使う意味がある。D が出る項目を全件見る扱いにできるかどうかも、判断に入れる。

試しに何枚くらい集めればよいですか

確かめたい項目と、言いたい上限から逆算する。印が出たときだけ見る扱いにしたい項目について、表の件数を目安にする。全件見る項目しか決めないなら、ふだんの組で人が確かめる量の見当がつく程度（客先ごとに数枚ずつ、合わせて数十枚）から始めてよい。

まとめ

読み取り精度は、文字単位・項目単位・1 枚まるごとで大きく違い、同じ帳票でも文字単位 93.41％・項目単位 89.11％という例がある。受注事務では、項目ごとの正しく読めた割合と、印のない誤り（D）の割合を見る。比べる前に「同じとみなす決まり」を項目ごとに決め、正解は既存の受注表ではなく原本から 2 人が別々に作る。試す注文書は客先・様式・手書きか印字か・届き方で分けて集め、ふだんの組と難しい組で結果を出す。件数は誤り 0 件でも言える上限から逆算し、注文書の枚数と客先にも偏りがないようにする。本番が始まってからも抜き出して測り続け、D がどこで出るかを記録する。

出典・参考資料

1. 自治体における AI 活用・導入ガイドブック＜導入手順編＞（第 4 版）（総務省 情報流通行政局 地域通信振興課・自治行政局 行政経営支援室／令和 7 年 12 月）
2. NIST/SEMATECH e-Handbook of Statistical Methods 7.2.4.1 Confidence intervals（米国国立標準技術研究所（NIST））
3. 製造委託等に係る中小受託事業者に対する代金の支払の遅延等の防止に関する法律第四条の明示に関する規則（e-Gov 法令検索（デジタル庁））
4. 独立したダブルチェックのヒューマンエラー防止効果（増田貴之ほか／日本心理学会第 81 回大会発表論文集／2017 年）
5. 生成 AI サービスの利用に関する注意喚起等（個人情報保護委員会／令和 5 年 6 月 2 日）

WHITE PAPER

この記事の理解を深める
無料ホワイトペーパーをプレゼント

製造業の現場で使える実務資料（PDF）を無料でお届けします。"こんな資料が届きます" ↓ 下のボタンからどうぞ。

🔒 全文は無料ダウンロードで