メッシのサッカーの試合とリーグ・オブ・レジェンドについての解説：OpenAI GPT-4ビジュアルAPIは開発者が新しい方法を作成するために使用されています

記事の冒頭では、サッカーの試合解説ビデオを見てみましょう。

それは正しいように聞こえませんか?

あなたの感覚は正しいです。なぜなら、この解説は AI によって生成されたものであり、「メッシ！メッシ！」と叫ぶ声は実際に AI から発せられたものだからです。

これは、X プラットフォーム (旧 Twitter) ブロガー @Gonzalo Espinoza Graham が投稿したビデオです。彼は、制作過程では主にGPT-4VとTTSという2つの技術を使用したと語った。

GPT-4Vは、OpenAIが以前リリースした大規模なマルチモーダルモデルです。オリジナルのChatGPTのようにテキストでチャットできるほか、チャットでユーザーが提供した画像も理解できます。さらに興味深いのは、昨日の開発者会議で、OpenAI が視覚機能に関連する API、gpt-4-vision-preview を公開したと発表したことです。この API を通じて、開発者は OpenAI の最新の GPT-4 Turbo (ビジュアル バージョン) を使用して新しいアプリケーションを開発できます。

開発者たちは、この待望の API をぜひ試してみたいと考えています。そのため、APIが公開されてわずか1日で、多くの開発者が試用結果を投稿しており、このサッカー解説もその1つでした。

ブロガーによると、この解説動画を作るために、元の動画のフレームをバッチで gpt-4-vision-preview に渡し、簡単なプロンプトを通じてモデルにナレーションを生成させたという。最後に、その結​​果を TTS (テキスト読み上げ技術) を使用して音声に変換し、動画に示されている効果を得たという。少し編集するだけで、理論的にはさらに良い結果が得られます。 OpenAI の現在の価格設定によると、このビデオの制作には約 30 ドルかかるとのことで、作者は「安くはない」と述べている。

関連コード: https://github.com/ggoonnzzaallo/llm_experiments/blob/main/narrator.ipynb

サッカーの試合に加え、開発者の中には、OpenAIのビジュアルAPIを使って「リーグ・オブ・レジェンド」の解説をするデモも公開した。このデモではLNGとT1の試合のビデオが使われ、インターネット上で50万人以上のネットユーザーが注目した。

説明効果は以下のとおりです。

しかし、このようなビデオはどのように作るのでしょうか?幸いなことに、これらの完成品のエフェクトに加えて、一部の開発者は独自のチュートリアルと各ステップに必要な特定のツールも投稿しました。

Xプラットフォームユーザー@小互が投稿した内容によると、実装プロセス全体は7つのステップに分けられます。

• ビデオフレームを抽出します。
• ビルドの説明プロンプト。
• GPT リクエストを送信します。
• 音声解説プロンプトを作成します。
• 音声ナレーションのスクリプトを生成します。
• スクリプトをオーディオに変換します。
• オーディオとビデオを組み合わせます。

詳細については、次のチュートリアルを参照してください。

しかし、コメント欄には「コメントされている試合はすべて過去のもの。リアルタイムの試合にもコメントできるのか？」という疑問の声も上がっていた。

リアルタイムのゲームを解釈できるかどうかはまだわかりませんが、開発者は実際に OpenAI Vision API を使用してカメラのコンテンツをリアルタイムで解釈するデモを共有しています。

プロジェクトリンク: https://github.com/bdekraker/WebcamGPT-Vision

同様の実験を行った開発者は、OpenAI Vision API は認識速度が速く、精度が高いとコメントしています。

リアルタイム描画ツールとして使用し、以前は専門的な描画ツールが必要だったスケッチをチャートに変換する人もいます。

ただし、このリアルタイム実験は OpenAI によって設定されたレート制限の対象となります。

OpenAIはGPT-4Vと新たに公開されたビジュアルAPIを通じて、マルチモーダル性の威力を世界に知らしめていると言えるが、上記の効果は氷山の一角に過ぎない。

実際、実生活でも研究でも、画像や動画を理解できる AI は幅広い用途に使われています。

実生活では、より知能の高いロボットを構築するために使用でき、ロボットが目の前の状況をリアルタイムで分析し、柔軟に対応できるようになります。これは、現在人気の身体化知能が研究している問題でもあります。

国内のスタートアップ企業が開発した具現化された知能ロボット（「独占 | DAMOアカデミーの次の目的地：陳俊波が具現化された知能の大型モデルを発表し、すべてのロボットの脳の構築を目指す」を参照）

さらに、視覚障害者の生活の質を向上させ、ビデオ画像や生活シーンの解釈を支援するためにも使用できます。実際、昨年 ByteDance が視覚障害者を支援するために開催したチャリティー コンテストでも同様の創造性が数多く見られましたが、当時はマルチモーダル技術が十分に成熟していませんでした (「色とりどりの靴下を履いて最新のドラマを見る: このプログラマー グループは視覚障害者の肩の重荷を降ろすのを手助けしています」を参照)。

マイクロソフトの最近の論文では、研究者らはGPT-4Vを使用して「ミスタ​​ー・ビーン」のストーリーを解釈するなど、この分野での進歩も実証した。

この優れたビデオ解釈機能により、研究者はビデオをより深く理解できるようになり、広く利用可能なビデオを新しいトレーニング データに変換して、よりスマートな AI をトレーニングし、閉ループを形成できます。

よりスマートな世界が加速しているようです。