「コピー+貼り付け」に別れを告げ、ディープラーニングOCRに基づくPDFからテキストへの変換を実現

[[403226]]

従来の講義には通常、PDF スライドのセットが付属します。一般的に、このような講義のメモを取りたい場合は、PDF から多くのコンテンツをコピーして貼り付ける必要があります。

最近、K1 Digital のシニア機械学習エンジニアである Lucas Soares 氏は、OCR (光学文字認識) を使用して PDF スライドを自動的に転記し、マークダウン ファイル内でそのコンテンツを直接操作して、PDF コンテンツの手動コピー アンド ペーストを回避することで、このプロセスを自動化しようとしています。

左はプロジェクト作者のルーカス・ソアレスです。

プロジェクトアドレス: https://github.com/EnkrateiaLucca/ocr_for_transcribing_pdf_slides

従来の PDF からテキストへの変換ツールを使用しないのはなぜですか?

ルーカス・ソアレス氏は、従来のツールでは問題がさらに増え、解決に時間がかかることに気付きました。彼は従来の Python パッケージの使用を試みましたが、複雑な正規表現パターンを使用して最終出力を解析する必要があるなど、多くの問題に遭遇したため、オブジェクト検出と OCRを試してみることにしました。

基本的なプロセスは次のステップに分けられます。

• PDF を画像に変換します。
• 画像内のテキストを検出して認識します。
• 出力例を表示します。

PDF をテキストに転記するディープラーニングベースの OCR

PDFを画像に変換する

Soares が使用した PDF スライドは、David Silver の Reinforcement Learning からのものです (下記の PDF スライドのアドレスを参照)。 「pdf2image」パッケージを使用して、各スライドを png 画像形式に変換します。

PDF スライドの例。

アドレス: https://www.davidsilver.uk/wp-content/uploads/2020/03/intro_RL.pdf

コードは次のとおりです。  

 pdf2image からインポートconvert_from_path
 pdf2image.exceptions からインポート(
 PDFInfoNotInstalledError、
 PDFページカウントエラー、
 PDF構文エラー
）
 pdf_path = "ファイルへのパス/intro_RL_Lecture1.pdf"
画像 = convert_from_path(pdf_path)
 iの場合、enumerate(images)内の画像:
    fname = "画像" + str(i) + ".png"
    image.save(fname, "PNG" )

処理後、すべての PDF スライドは PNG 形式の画像に変換されます。

画像内のテキストを検出して認識する

PNG 画像内のテキストを検出して認識するために、Soares は ocr.pytorch ライブラリのテキスト検出器を使用しました。指示に従ってモデルをダウンロードし、チェックポイント フォルダーにモデルを保存します。

ocr.pytorch ライブラリのアドレス: https://github.com/courao/ocr.pytorch

コードは次のとおりです。  

 #このソースから改変: https://github.com/courao/ocr.pytorch
 %load_ext 自動リロード
%自動リロード2
インポートOS
 OCRからOCRをインポート
インポート時間
輸入シュティル
numpyをnpとしてインポートする
パスライブラリをインポートする
PILインポート画像から
globからglobをインポート
matplotlib.pyplot を plt としてインポートします。
 Seaborn を SNS としてインポートする
sns.set()
 pytesseractをインポートする
def single_pic_proc(画像ファイル):
    画像 = np.array(Image.open(image_file).convert( 'RGB' ))
    結果、image_framed = ocr(image)
結果を返す、image_framed
 image_files = glob( './input_images/*.*' )
結果ディレクトリ = './output_images_with_boxes/'
 # 出力フォルダーが存在する場合は、それを削除してやり直します。
 os.path.exists(result_dir)が存在する場合:
    shutil.rmtree(結果ディレクトリ)
 os.mkdir(結果ディレクトリ)
 sorted(image_files) 内の image_fileの場合:
    結果、image_framed = single_pic_proc(image_file) # テキストの検出と認識
    ファイル名 = pathlib.Path(image_file).name
    出力ファイル = os.path.join(result_dir, image_file.split( '/' )[- 1 ])
    txt_file = os.path.join(result_dir, image_file.split( '/' )[- 1 ].split( '.' )[ 0 ]+ '.txt' )
    txt_f = txt_file を開きます。'w'
    Image.fromarray(image_framed).save(出力ファイル)
結果のキー:
        txt_f.write(結果[キー][ 1 ]+ '\n' )
    txt_f.close()

入力フォルダーと出力フォルダーを設定し、すべての入力画像 (変換された PDF スライド) をループし、single_pic_proc() 関数を介して OCR モジュールの検出モデルと認識モデルを実行し、最後に出力を出力フォルダーに保存します。

検出は Pytorch CTPN モデルを継承し、認識は Pytorch CRNN モデルを継承します。どちらも OCR モジュールに存在します。

サンプル出力

コードは次のとおりです。  

 cv2をcvとしてインポートする
output_dir = pathlib.Path( "./output_images_with_boxes" )
 # 画像 = cv2.imread(str(np.random.choice(list(output_dir.iterdir()), 1 )[ 0 ]))
画像 = cv2.imread(f "{output_dir}/image7.png" )
 size_reshaped = ( int (image.shape[ 1 ]), int (image.shape[ 0 ]))
画像 = cv2.resize(画像、size_reshaped)
 cv2.imshow( "画像" , 画像)
 cv2.waitKey( 0 ) 待ちキーを0にする
cv2.すべてのウィンドウを破棄する()

下の左側の写真は元の PDF スライドを示しており、右側の写真は非常に高い精度で転写された出力テキストを示しています。

テキスト認識出力は次のようになります。  

ファイル名 = f "{output_dir}/image7.txt"
 open(filename, "r" ) をテキストとして:
 text.readlines() 内の行の場合:
        print(line.strip( "\n" ))

こうすることで、手書きのメモの検出と認識から写真内のランダムなテキストの検出と認識まで、あらゆる種類の文書を転記するための非常に強力なツールが完成します。独自の OCR ツールを使用してテキスト コンテンツを処理した方が、外部ソフトウェアを使用してドキュメントを書き写すよりもはるかに優れています。