とても早いですね！わずか数分で、10行未満のコードでビデオ音声をテキストに変換します。

みなさんこんにちは。私はFeng Kiteです

オーディオおよびビデオ ファイル内のオーディオをテキスト コンテンツに変換することは 2 年前は困難でしたが、現在では数分で解決できます。

すでにいくつかの企業では、DouyinやKuaishouなどのショートビデオプラットフォーム上のすべてのビデオを検索してトレーニングデータを取得し、音声をテキストに抽出してビッグデータモデルのトレーニングコーパスとして使用していると聞きました。

ビデオまたはオーディオ ファイルをテキストに変換する必要がある場合は、現在提供されているオープン ソース ソリューションを試してみるとよいでしょう。たとえば、映画やテレビのセリフが出てくる時間を検索します。

さっそく本題に入りましょう。

ささやき

このソリューションは、OpenAI のオープンソース Whisper であり、もちろん Python で書かれています。いくつかのパッケージをインストールし、数行のコードを書いて、少し待つだけで (マシンのパフォーマンスとオーディオとビデオの長さによって異なります)、最終的なテキスト コンテンツが表示されます。とても簡単です。

GitHubリポジトリアドレス: https://github.com/openai/whisper

ファストウィスパー

非常にシンプルですが、プログラマーにとってはまだ簡潔さが足りません。結局のところ、プログラマーは非常に怠惰です。Whisper はインストールと呼び出しが簡単ですが、それでも PyTorch、ffmpeg、さらには Rust を個別にインストールする必要があります。

そこで、より高速でシンプルな Fast-Whisper が登場しました。 Fast-Whisper は Whisper の単純なラッパーではなく、Transformer モデル用の高速推論エンジンである CTranslate2 を使用して OpenAI の Whisper モデルを再実装したものです。

まとめると、Whisper よりも高速です。公式発表では、Whisper よりも 4 ～ 8 倍高速であるとされています。 GPU だけでなく CPU もサポートしており、私の安物の Mac でも使用できます。

GitHub リポジトリ アドレス: https://github.com/SYSTRAN/faster-whisper

使い方はたったの2ステップです。

1. 依存パッケージをインストールする

pip install faster-whisper

2. コードを書く、

 from faster_whisper import WhisperModel model_size = "large-v3" # Run on GPU with FP16 model = WhisperModel(model_size, device="cuda", compute_type="float16") # or run on GPU with INT8 # model = WhisperModel(model_size, device="cuda", compute_type="int8_float16") # or run on CPU with INT8 # model = WhisperModel(model_size, device="cpu", compute_type="int8") segments, info = model.transcribe("audio.mp3", beam_size=5) print("Detected language '%s' with probability %f" % (info.language, info.language_probability)) for segment in segments: print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

はい、とても簡単です。

何ができるでしょうか?

たまたま、私の友人が短いビデオを作ってチキンスープ文学のビデオを投稿したいと言っていました。チキンスープは有名人のインタビュービデオから生まれました。しかし、彼はビデオ全体を視聴したくなかったので、できるだけ早くテキストコンテンツをダウンロードしてからテキストを読みたいと考えました。テキストを読む方がビデオを見るよりもはるかに速く、検索もできるからです。

言いたいのは、動画を最後まで見るという誠意さえなければ、どうやってアカウントをうまく管理できるのかということです。

そこで私は Fast-Whisper を使って彼のために作ってみました。

クライアント

クライアントは Swift を使用し、Mac のみをサポートします。

1. ビデオを選択します。
2. 次に「テキストの抽出」をクリックすると、Python インターフェースが呼び出されるので、しばらく待つ必要があります。
3. 解析されたテキストとその発生の開始時刻と終了時刻を読み込みます。
4. 開始時間と終了イベントを選択します。
5. 「エクスポート」ボタンをクリックすると、ビデオクリップがエクスポートされます。

、再生時間 00:10

サーバ

サーバー側はもちろん Python ですが、これは Flask でパッケージ化されて外部に公開されます。

 from flask import Flask, request, jsonify from faster_whisper import WhisperModel app = Flask(__name__) model_size = "large-v2" model = WhisperModel(model_size, device="cpu", compute_type="int8") @app.route('/transcribe', methods=['POST']) def transcribe(): # Get the file path from the request file_path = request.json.get('filePath') # Transcribe the file segments, info = model.transcribe(file_path, beam_size=5, initial_prompt="简体") segments_copy = [] with open('segments.txt', 'w') as file: for segment in segments: line = "%.2fs|%.2fs|[%.2fs -> %.2fs]|%s" % ( segment.start, segment.end, segment.start, segment.end, segment.text) segments_copy.append(line) file.write(line + '\n') # Prepare the response response_data = { "language": info.language, "language_probability": info.language_probability, "segments": [] } for segment in segments_copy: response_data["segments"].append(segment) return jsonify(response_data) if __name__ == '__main__': app.run(debug=False)

上記は議論を刺激するための単なる小さなツールであり、あなた自身の使用には十分です。