OCRの文字誤り率を信じる前に、人名と日付で採点する
arXivのプレプリント（査読前の論文を公開するサイト）は、OCRの順位が採点基準で変わると報告しています。手元の20ページを、自分の人名・日付・番号で採点する方法です。
学校の文書係のランさん（この記事のために作った人物）は、古い入学台帳の20ページからOCRソフト（文字認識。写真を文字データにするもの）が作ったテキストファイルの検索欄に、ある生徒の名前を入力しました。1件も出てきません。紙のページを見直すと、名前はちゃんと書いてあります。機械がちょうど1文字だけ読み違えていたのです。調べたい名前を落とさないのはどのツールかを知るには、まさにその名前で採点するしかありません。
一覧を作り、自分の20ページで採点する
- 10〜20ページを選びます。はっきりしたページに、かすれたページや手書きのページを混ぜてください。誤りは後者に多いからです。
- 1ページずつ読み、あとで検索しそうな人名、日付、番号をすべて表計算シートに書き出します。OCRの結果を開く前にやってください。そうすれば、結果に引きずられずに済みます。
- 検討中のOCRツールを同じページで動かし、結果をツールごとにテキストファイルとして保存します。
- シートの項目ごとに、各ツールのテキストファイルを開いてCtrl+F（または「検索」）で探し、2つの列を埋めます。項目全体がそのまま出てくれば「完全一致」です。見つからなくてもすぐ諦めず、項目の特徴的な短い一部、たとえば姓、日付の年、番号の末尾3〜4桁で探します。何か出てきたら、一覧の項目と目で見比べ、違う文字の数を数えます。違いが1〜2文字なら「近い一致」とします。ベトナム語の声調記号・符号の違いを1文字の違いと数えるかどうかは、先に決めて書き留めておいてください。
- どの一部でも見つからない項目は「失われた項目」の一覧に入れます。
- ツールごとに2つの割合を出します。完全一致の数を項目の総数で割った値と、完全一致または近い一致の数を項目の総数で割った値です。
手順4の作り話の例です。ランさんの項目に「Nguyễn Thị Hòa」があります。全体では見つかりませんが、「Hòa」で探すと「Nguyễn Thi Hòa」の行が出ます。「Thị」の符号が1つ欠けているだけなので、この項目は「近い一致」の列に入ります。「Trần Văn Bảy」は、「Trần」「Văn」「Bảy」のどれで探しても何も出なければ、「失われた項目」の一覧に入ります。
結果の読み方と、全体の割合を信じない理由
完全一致が低くても近い一致が高いツールは、ばらばらに小さな間違いをするツールです。すでに分かっている名前の一覧と照らして見つけることも、校正する人に項目ごとに目で追ってもらうこともできます。近い一致も低いツールは、エンティティ（人名、日付、番号など）の一部を落としています。どの項目を落としたか分からないので、手で直しても救えません。この2つの割合が教えてくれるのは、自分の文書でどのツールを優先するかの順番であり、論文の数字と比べられる値ではありません。
この採点方法は、2026年10月7日付のarXiv（査読前の科学論文を公開するサイト）のプレプリントの考え方を、事務の仕事に置き換えたものです。手順はどのツールでも試していません。読んだのは要旨だけで、全文は読んでいません。ラベル一式は論文が採択されて初めて公開されるため、著者以外はまだ再実行できません。
ウルグアイと香港の著者らは、Berruttiアーカイブの175文書と、人手でラベル付けした5,209件の人名・日付・番号の言及を使いました。比べたのは3種類のシステムです。文字の並びとして認識するOCR、OCR向けに特化したビジョン・ランゲージモデル（画像と文章を一緒に読むモデル）、汎用のビジョン・ランゲージモデルです。文字誤り率（CER、間違った文字数を全文字数で割ったもの）に加えて、違ってよい文字数の許容を変えながら、各システムがエンティティをどれだけ保てたか、取り戻せたかを数えています。
システムの順位は、採点の基準によって変わります。Qwen 3.6は、どの許容でもエンティティの網羅率が最も高くなりました。完全一致は低くても、数文字の違いを認めると大きく伸びるシステムがあります。その誤りはエンティティの読み違いではなく、主に局所的なずれだということです。一方で、許容を緩めても多くのエンティティを取り戻せないシステムもあります。
終わった目安は、ツールごとに1行、割合の列が2つの小さな表ができ、さらに完全に失われた項目の一覧もあって、それらに共通点（手書き、薄い印、ハイフン入りの番号など）があるか見られる状態です。
項目の一覧が短すぎる（30件に満たない）と、1項目の誤りで割合が大きく跳ねるので、ページを増やします。ツールが2行を1行にまとめて名前を二つに切った場合は、半分ずつ探し、改行の誤りとして別に記録します。どのツールも近い一致が低いなら、原因はスキャンの品質である可能性が高いので、ツールを替える前に、より高い解像度で取り直してください。
参考資料
- Mariño ほか、「Entity-Aware Evaluation of OCR Systems for Historical Document Transcription」（arXiv:2610.33004、2026年10月7日） — 175文書、5,209件のエンティティの言及、3種類のシステムの比較、Qwen 3.6の結果の出典。arXivのプレプリントです。