DeepSpeechを使用してアプリ内で音声をテキストに変換する

DeepSpeechを使用してアプリ内で音声をテキストに変換する


アプリでの音声認識は単なる楽しい機能ではなく、重要なアクセシビリティ機能です。


コンピュータの主な機能の 1 つは、データを解釈することです。一部のデータは他のデータよりも解析が容易であり、音声入力はまだ開発中です。しかし、近年この分野では多くの改善が行われており、その 1 つが、Firefox ブラウザを保守する財団である Mozilla のプロジェクトである DeepSpeech です。 DeepSpeech は音声をテキストに変換するコマンドとライブラリであり、音声入力をテキストに変換する必要のあるユーザーと、アプリケーションに音声入力を提供したい開発者の両方に役立ちます。

DeepSpeechをインストールする

DeepSpeech はオープンソースであり、Mozilla Public License (MPL) に基づいてリリースされています。ソースコードは GitHub ページからダウンロードできます。

インストールするには、まず Python の仮想環境を作成します。

 $ python3 -m pip インストール deepspeech --user

DeepSpeech は機械学習に依存しています。自分でトレーニングすることもできますが、最初に開始するときに事前トレーニング済みのモデル ファイルをダウンロードするのが最も簡単です。

 $ mkdir ディープスピーチ
$ cd ディープスピーチ
$ カール -LO \
https://github.com/mozilla/DeepSpeech/releases/download/vX.YZ/deepspeech-XYZ-models.pbmm
$ カール -LO \
https://github.com/mozilla/DeepSpeech/releases/download/vX.YZ/deepspeech-XYZ-models.scorer

ユーザーアプリケーション

DeepSpeech を使用すると、音声録音をテキストに書き起こすことができます。最適な条件下できれいに録音された音声から、最良の結果が得られます。ただし、いざというときには、どんな録音でも試すことができ、最終的には手動で書き起こす必要があるものになる可能性があります。

これをテストするには、「これはテストです。Hello world、これはテストです」という簡単なフレーズを含むオーディオ ファイルを録音します。オーディオを​hello-test.wav​という名前の​.wav​ファイルとして保存します。

DeepSpeech フォルダーで、モデル ファイル、スコアラー ファイル、オーディオを指定して文字起こしを開始します。

 $ deepspeech --model deepspeech*pbmm \
--スコアラー deepspeech*スコアラー \
--audio hello-test.wav

標準出力(端末)に出力します。

これはテストです こんにちは世界 これはテストです

​--json​オプションを使用すると、JSON 形式の出力を取得できます。

 $ deepspeech --model deepspeech*pbmm \
--json
--スコアラー deepspeech*スコアラー \
--audio hello-test.wav

これは各単語をタイムスタンプとともにレンダリングします。

 {
「トランスクリプト」: [
{
「信頼度」: -42.7990608215332,
「単語」: [
{
"単語": "これ",
「開始時間」: 2.54,
「持続時間」: 0.12
},
{
"単語": "は",
「開始時間」: 2.74,
「期間」: 0.1
},
{
"単語": "a",
「開始時間」: 2.94,
「持続時間」: 0.04
},
{
"単語": "テスト",
「開始時間」: 3.06,
「持続時間」: 0.74
},
[...]

開発者

DeepSpeech は、録音済みの音声を書き起こすだけのコマンドではありません。また、これを使用してオーディオ ストリームをリアルタイムで処理することもできます。 GitHubリポジトリDeepSpeech-examplesには、Android向けのJavaScript、Python、C#、Javaなどのさまざまなコードが含まれています。

大変な作業のほとんどはすでに行われているため、DeepSpeech の統合は通常、DeepSpeech ライブラリを参照して、ホスト デバイスからオーディオを取得する方法を知るだけで済みます (これは通常、Linux の​/dev​​​ ファイルシステムまたは Android やその他のプラットフォームの SDK を通じて行います)。

音声認識

開発者にとって、アプリで音声認識を有効にすることは単なる楽しいトリックではなく、運動障害のある人、視覚障害のある人、慢性的にマルチタスクを行う人にとってアプリをより使いやすくする重要なアクセシビリティ機能です。ユーザーにとって、DeepSpeech は音声ファイルをテキストに変換できる便利な文字起こしツールです。どのようなユースケースでも、DeepSpeech を試してみて、それが何をもたらすかを確認してください。

<<:  人工知能が雪の結晶をリアルタイムで捉え、約700人の足跡を追跡可能に

>>:  人工知能アルゴリズムが構造生物学の難問を解決

ブログ    
ブログ    

推薦する

...

ビッグデータがなくてもディープラーニングは可能でしょうか?中小企業のトレーニングのための新しいソリューション、大規模モデル

海外メディアの報道によると、AI専門家のアンドリュー・ン氏はIEEEに対し、ディープラーニングの今後...

Meta-Transformer: マルチモーダル学習のための統一フレームワーク

Meta-Transformer は、自然言語、画像、ポイント クラウド、オーディオ、ビデオ、時系列...

...

市場規模は約16.8億元に達しました!物流と配送がドローンと出会う

現在、ナビゲーションや通信などの技術が継続的に進歩し、ドローンの開発はより成熟し、業界の規模も拡大し...

単一の GPU のみを使用して 7B モデルを微調整します。ユニバーサルマルチモーダルツール LLaMA-Adapter は閾値を取り除き、その効果は驚くべきものです

LLaMA アダプタが完全にロック解除されました。一般的なマルチモーダル ベース モデルとして、画像...

合成データとAIの「非現実的な」世界を探る

最近、アクセンチュアは「メタバースで出会う:テクノロジーとエクスペリエンスの連続体のビジネスを再構築...

Node.jsを使用してテキストコンテンツをセグメント化し、キーワードを抽出する

Zhongcheng が翻訳した記事にはタグが付けられています。ユーザーはタグに基づいて興味のある記...

データサイエンティストが最もよく使用するアルゴリズム10選

最新の KDnuggets 調査では、データ サイエンティストの実際の業務で最もよく使用されるアルゴ...

少し手を加えるだけで、GPT-3 の精度が 61% 向上します。グーグルと東京大学の研究は皆を驚かせた

私たちが目を覚ましたとき、機械学習コミュニティは大騒ぎしていました。最新の研究により、GPT-3 に...

MIT、Wikipedia の更新、間違いの修正、偽ニュースの特定を行う AI 編集システムを開始

[[334141]]誰でも編集できるオンライン百科事典である Wikipedia では、各エントリを...

人工知能が農業市場に浸透:機械農業は従来の農家よりも優れている

山東省寿光市は中国の有名な野菜生産地です。そこには野菜温室がいくつあるのでしょうか? 機械で数えてみ...