Windows

Windowsでは、https://github.com/UB-Mannheim/tesseract/wikiをブラウザで開いてそのページの指示に従って最新のインストーラープログラムをダウンロードしてください。そのインストーラーをダブルクリックすればTesseractをインストールできます。

Tesseractはデフォルトで英語の文字認識を行います。インストール中に"Additional script data (download)"と"Additional language data (download)"というチェックボックスをオンにすると、英語以外の文字や言語も認識できるようになります。すべての言語をインストールすると600MBほどのサイズになります。この言語パックではファイル名の.traineddata拡張子の前の部分でどの言語かが示されます。例えば、日本語でしたらjpn.traineddataです。容量を節約するためにチェックボックスで選択してインストールする言語を選べます。

インストールが終われば、PyTesseractがtesseract.exeプログラムにアクセスできるように、C:\Program Files\Tesseract-OCRフォルダ（またはTesseractをインストールした別のフォルダ）をPATH環境変数に追加してください。PATH環境変数の編集方法については第12章で説明しました。

macOS

HomebrewパッケージマネージャーでTesseractをmacOSにインストールできます。Homebrewはhttps://docs.brew.shからインストールできます。ターミナルウィンドウを開いてbrew install tesseractを実行すればTesseractをインストールできますし、brew install tesseract-langを実行すれば英語以外の言語パックをインストールできます。

Linux

ターミナルウィンドウを開いてsudo apt install tesseract-ocrを実行すればLinuxにTesseractをインストールできます。このコマンドを実行するには管理者パスワードの入力を求められます。

ターミナルからsudo apt install tesseract-ocr-allを実行すればすべての言語パックをインストールできます。言語パックを選択してインストールするなら、allの部分をISO 639言語コードに置き換えてください。例えばフランス語ならfra、ドイツ語ならdeu、日本語ならjpnです。

PyTesseract

Tesseract OCRエンジンをインストールしたら、次は付録Aの指示に従ってPyTesseractの最新版をインストールします。PyTesseractはPillow画像ライブラリもインストールします。

画像の前処理

先ほど例を示した画像中の文字ではほぼ完璧に文字列を抽出できました。しかしOCRには限界があります。スクリーンショットのようなコンピュータが作成した画像とは異なり、紙をスキャンしたり撮影したりした画像には問題がある場合がありますし、現実世界を撮影した写真は文字を抽出するには複雑すぎます。例えば、車を後ろから撮影した画像中のナンバープレートの文字をTesseractで認識することはできません。ナンバープレート付近の画像をクロップ（切り抜き）したとしてもまだ読み取れないかもしれません。Tesseractは現実世界の写真や手書き文字よりも、印刷物に適しています。

スクリーンショットであってもOCRテキストは不完全だと考えて修正するようにしてください。特に以下のような問題があります。

• 行末のハイフンが残ってしまう（“dig-” “ital”や“pro-” “grams”など）
• 文字列にフォントやサイズの情報が残らない
• 文字列中の空白が本文と一致しない
• 小文字のjとiを間違えるなど文字認識が不完全
• 表や段組みがあると文字列の順序がごちゃごちゃになってしまう

数字の認識誤りは単語の認識誤りよりも発見しにくいので、特に注意してください。

Tesseractでは認識の問題を軽減する前処理を行いますが、Tesseractを使う前に画像編集プログラムで以下の前処理を行うと精度を高められる可能性があります。

• 段組みを避け、テキストの列ごとに別々の画像にする
• 手書きではなく活字を対象にする
• 装飾的なフォントではなく一般的なフォントを用いる
• テキストが傾かないように画像を回転させる
• 黒地の背景に白色のテキストではなく、白地の背景に黒色のテキストにする
• 画像の端の枠線を除去する
• 画像の端まで文字があるなら余白を設ける
• 画像の輝度とコントラストを調整してテキストが背景から際立つようにする
• 画像のノイズを除去する

PythonでOpenCVライブラリを使うとこうした処理を自動的に行えます。https://autbor.com/preprocessingocrの“Preprocessing Images for OCR with Python and OpenCV”というブログ記事に例がたくさん載っています。

大規模言語モデルを活用して誤りを修正する

OCRではスペースや文字単位の誤りが発生しやすいです。スペルチェックでは、正しく認識した元画像のスペルミスを誤りだと指摘したり、誤って認識した正しいスペルの単語を見逃したりするので、そうした誤りを発見しづらいです。OCRで起こりがちなこの種の誤りを発見するには文脈と常識が必要になります。

これはまさにChatGPT、Gemini、LLaMAなどの大規模言語モデル（LLM）AIが得意とする問題です。例えば、図22-1はメアリー・シェリーの小説『フランケンシュタイン』のスキャン画像です。このページは1831年に印刷されたものであるため、紙にしわがあり黄ばんでいますし、インクがかすれている部分もあります。本書のオンライン素材からこのfrankenstein.pngをダウンロードできます。

前処理なしでTesseractは以下の文字を認識しました。

>>> import pytesseract as tess
>>> from PIL import Image
>>> img = Image.open('frankenstein.png')
>>> text = tess.image_to_string(img)
>>> print(text)
THE MODERN PROMETHEUS. 43

CHAPTER V.

Iv was on a dreary night of November, that I beheld the
accomplishment of my toils. With an anxiety that almost
amounted to agony, I collected the instruments of life
around me, that I might infuse a spark of being into the
lifeless thing that lay at my feet. It was already one in
the morning ; the rain pattered dismally against the panes,
and my candle was nearly burnt out, when, by the glimmer
of the half-extinguished light, I saw the dull yellow eye
of the creature open ; it breathed hard, and a convulsive
Motion agitated its limbs.

まずまずですが、段落の冒頭で'IT'ではなく'Iv'としているのと、最後の行で'motion'ではなく'Motion'としている箇所が誤っています（言語パックがアップデートされると結果が変わるかもしれません）。

以下のプロンプトでLLMにこの誤りを修正してもらいましょう。

次のテキストはOCRの出力結果です。スペースや文字の認識誤りを修正してください。原文に含まれるスペルミスや文法の誤りは修正しないでください。段落を一行にして、行末のハイフンで区切られた単語を元に戻してください。OCRの説明などは不要で、修正後のテキストだけを出力してください。以下テキストを示します。

THE MODERN PROMETHEUS. 43

CHAPTER V.

Iv was on a dreary night of November, that I beheld the ...

このプロンプトでLLMは以下のように出力しました。

THE MODERN PROMETHEUS. 43

CHAPTER V.

It was on a dreary night of November that I beheld the accomplishment of
my toils. With an anxiety that almost amounted to agony, I collected the
instruments of life around me, that I might infuse a spark of being into
the lifeless thing that lay at my feet. It was already one in the morning;
the rain pattered dismally against the panes, and my candle was nearly burnt
out, when, by the glimmer of the half-extinguished light, I saw the dull
yellow eye of the creature open; it breathed hard, and a convulsive motion
agitated its limbs.

LLMは'Iv'を'It'に、'Motion'を'motion'に修正しました。行末のハイフンで区切られた単語を元に戻し、改行が取り除かれています。これでテキストをWord文書やメールにコピーアンドペーストしやすくなりました。たいていのオンラインのLLMにはAPIがありますから、プログラムから直接プロンプトを送って応答を取得することで、このLLMによる修正を自動化できます。LLMをローカルPCで実行しているのでなければ（その方法の説明は本書の範囲外です）、オンラインのLLMサービスに登録しなければならないでしょう。これくらいであれば無料枠で実行できるかもしれませんし、従量課金されるかもしれません。

LLMは自信過剰になりがちだという点に注意してください。出力を必ず検証してください。出力されたテキストは誤りを見逃しているかもしれませんし、不要な修正をしているかもしれませんし、新しい誤りを作り出しているかもしれません。機械の出力を確認する人間が必要です（人間は間違えやすいので、1人目の人間の作業を確認する2人目の人間が必要かもしれません）。

NAPS2のインストールと設定

https://www.naps2.com/downloadからお使いのOSに応じたインストーラーをダウンロードしてNAPS2をインストールしてください。WindowsとmacOSでは、ダウンロードしたインストーラーを実行します。Linuxでは、TesseractのFlatpakインストーラーをダウンロードして、ダウンロードしたフォルダでターミナルウィンドウを開き、flatpak install naps2-X.X.X-linux-x64.flatpakを実行します（インストーラーのファイル名はダウンロードしたものに合わせてください）。管理者パスワードの入力を求められます。

インストールできればデスクトップアプリとしてNAPS2を実行できます。WindowsではスタートメニューからNAPS2を選びます。macOSではSpotlightからNAPS2を実行します。Linuxでは新しいターミナルウィンドウを開いてflatpak run com.naps2.Naps2を実行します。本書では、GUIのデスクトップアプリではなく、Pythonのコードからsubprocessモジュールを利用してNAPS2を使います。

NAPS2のPythonからの実行

Pythonのスクリプトでsubprocessモジュールを使い、コマンドライン引数を指定してNAPS2アプリケーションを実行します。このように実行すればNAPS2のアプリケーションウィンドウが開かないので、Pythonスクリプトによる自動化の一環として活用しやすいです。

もう一度frankenstein.png画像を使ってOCRテキストを埋め込んだPDFをNAPS2で作成してみましょう。NAPS2プログラムの場所はOSごとに異なります。以下はWindowsのパスを指定した対話型シェルでのコード例です。

>>> import subprocess
>>> naps2_path = [r'C:\Program Files\NAPS2\NAPS2.Console.exe']  # Windows
>>> proc = subprocess.run(naps2_path + ['-i', 'frankenstein.png', '-o', 
'output.pdf', '--install', 'ocr-eng', '--ocrlang', 'eng', '-n', '0', '-f', 
'-v'], capture_output=True)

macOSではパスを指定している行をnaps2_path = ['/Applications/NAPS2.app/Contents/MacOS/NAPS2', 'console']としてください。Linuxではnaps2_path = ['flatpak', 'run', 'com.naps2.Naps2', 'console']です。

このコードでは、frankenstein.pngの画像から抽出したテキストを含む1ページのoutput.pdfという名前の新しいファイルが作成されます。このファイルをPDFアプリケーションで開くと、テキストを選択してクリップボードにコピーできます。PDFアプリケーションによっては、OCRで認識したテキストを.txtのテキストファイルとして保存できます。

この例のコマンドライン引数を一つずつ見ていきましょう。これを理解すれば必要に応じてコマンドライン引数を調整できます。

'-i', 'frankenstein.png' 入力をfrankenstein.png画像ファイルと指定しています。複数ファイルを入力に指定する方法については、次節の「入力の指定」を参照してください。

'-o', 'output.pdf' OCR結果を含めた新しいファイルをoutput.pdfという名前で作成します。

'--install', 'ocr-eng' OCR用に英語の言語パックをインストールします。すでにその言語パックがインストールされていれば何も行いません。言語パックをインストールしたい場合は、ocr-のあとに3文字のISO 639言語コードをつけてください。

'--ocrlang', 'eng' OCRで認識する言語に英語を指定します。この引数はそのままTesseractのコマンドライン引数に渡されますから、'eng+jpn+rus'のような引数で英語と日本語とロシア語を指定できます。

'-n', '0' 物理的なスキャナを使わないことを指定します。これにより物理的なスキャナがコンピュータに接続されていなくてもエラーメッセージが表示されません。

'-f' NAPS2が同名のファイルがあってもoutput.pdfという出力ファイルを上書きします。

'-v' 冗長モードを有効にします。NAPS2がPDFを作成する際に状態を示すテキストが表示されます。その状態を示すテキストを確認したければ、subprocess.run()のキーワード引数をcapture_output=Trueではなくcapture_output=Falseとしてください。

NAPS2のコマンドライン引数については、https://www.naps2.com/doc/command-lineのオンラインドキュメントで説明されています。subprocessモジュールについては第19章で詳しく説明しました。

入力の指定

NAPS2はPDFと大部分の画像フォーマットからPDFを作成できます。コマンドライン引数の-iのあとに独自のミニ言語で複数の入力を指定します。これは複雑になることがありますが、Pythonのインデックスとスライスの記法が使える、セミコロン区切りの複数指定だと考えてください。

セミコロンで区切って複数のファイルを指定します。例えば、'-i', 'cat.png;dog.png;moose.png'を渡すと、1ページ目はcat.png、2ページ目はdog.png、3ページ目はmoose.pngのPDFを作成します。

Pythonのリストのスライス構文と同じ構文を使ってPDFのページを指定することもできます。PDFのファイル名のあとに角かっこで入力に使うページ数を指定します。Pythonと同じように、0が最初のページです。例えば、'-i', 'spam.pdf[0];spam.pdf[5];eggs.pdf'を渡すと、spam.pdfの1ページ目、spam.pdfの6ページ目、eggs.pdfの全ページからなるPDFを作成します。

スライス記法でページの範囲を指定することもできますし、負の数でPDF文書の末尾からページを指定することもできます。例えば、'-i', 'spam.pdf[0:2];eggs.pdf[-1]'を渡すと、spam.pdfの最初の2ページとeggs.pdfの最後のページからなるPDFを作成します。

NAPS2にはまだほかにもコマンドライン引数があります。それらについてはオンラインドキュメントを参照してください。NAPS2がお気に召さなければ、https://pypi.org/project/ocrmypdf/のocrmypdfパッケージでテキストを埋め込んだPDFを作成できます。