iPhoneのトランスフォーマーを公開: GPT-2アーキテクチャをベースにした単語セグメンターには、MITの卒業生が制作した絵文字が含まれています。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

Apple Transformerの「秘密」が愛好家によって明らかにされた。

大型モデルの波の中で、Apple のような保守的な企業でさえ、記者会見のたびに必ず「トランスフォーマー」に言及しています。

たとえば、今年の WWDC で、Apple は最新バージョンの iOS と macOS に Transformer 言語モデルを組み込み、入力メソッドにテキスト予測機能を提供すると発表しました。

Appleの関係者は詳しい情報を明かしていないが、テクノロジー愛好家たちは黙ってはいられない。

Jack Cook という人物が macOS Sonoma ベータ版を徹底的に調べ、多くの新しい情報を発見しました。

• モデルアーキテクチャの点では、クック氏は Apple の言語モデルはGPT-2に基づいて構築されたものに近いと考えています。
• トークナイザーに関しては、絵文字が目立ちます。

詳細を見てみましょう。

GPT-2アーキテクチャに基づく

まず、Apple の Transformer ベースの言語モデルが iPhone や MacBook などのデバイスでどのような機能を実現できるかを確認しましょう。

主に入力方法に反映されます。言語モデルでサポートされている Apple の組み込み入力方法は、単語予測とエラー修正の機能を実現できます。

Jack Cook はいくつかの特定のテストを実施し、この機能は主に単語の予測を実現することを発見しました。

△出典：ジャック・クックのブログ投稿

モデルは複数の単語を予測することがありますが、これは Gmail のオートコンプリート機能と同様に、文の意味が非常に明らかな場合のみです。

△出典：ジャック・クックのブログ投稿

それで、このモデルは正確にどこにインストールされているのでしょうか?徹底的な調査を行った結果、クック氏は次のように結論付けました。

予測テキスト モデルは、/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle にあります。

理由は次のとおりです。

1. unilm.bundle 内の多くのファイルは macOS Ventura (13.5) には存在せず、新しいバージョンの macOS Sonoma beta (14.0) にのみ表示されます。
2. unilm.bundle には sp.dat ファイルがあり、これは Ventura と Sonoma ベータ版の両方にありますが、Sonoma ベータ版では明らかにトークナイザーのようなトークンのセットが更新されています。
3. sp.dat 内のトークンの数は、unilm.bundle 内の 2 つのファイル (unilm_joint_cpu.espresso.shape と unilm_joint_ane.espresso.shape) と一致します。これら 2 つのファイルは、Espresso/CoreML モデルの各レイヤーの形状を記述します。

さらに、unilm_joint_cpu で説明されているネットワーク構造に基づいて、この人物は Apple モデルが GPT-2 アーキテクチャに基づいて構築されたと推測しました。

主にトークン埋め込み、位置エンコーディング、デコーダー ブロック、出力層が含まれます。各デコーダー ブロックには、gpt2_transformer_layer_3d などの単語があります。

△出典：ジャック・クックのブログ投稿

各層のサイズに基づいて、この人物は、Apple モデルには約 3,400 万のパラメーターがあり、隠れ層のサイズは 512 であると推測しました。つまり、GPT-2 の最小バージョンよりも小さくなります。

この人物は、これは主に、Apple が電力をあまり消費せず、高速かつ頻繁に動作できるモデルを望んでいるためだと考えている。

Apple は WWDC で「iPhone はキーがクリックされるたびにモデルを 1 回実行する」と公式に発表しました。

ただし、これは、このテキスト予測モデルが文や段落をうまく完成できないことも意味します。

△出典：ジャック・クックのブログ投稿

モデルアーキテクチャに加えて、Cook 氏はトークナイザーに関する関連情報も掘り起こしました。

彼は、unilm.bundle/sp.dat で 15,000 個のトークンのセットを発見しました。その中には100 個の絵文字が含まれていました。

クックが明かすクック

このクックはあのクックではないが、彼のブログ投稿は公開されるや否や大きな注目を集めた。

彼の調査結果に基づいて、ネットユーザーたちは、Appleがユーザーエクスペリエンスと最先端のテクノロジーアプリケーションの間でどのようにバランスを取っているかについて熱く議論した。

ジャック・クック氏自身について言えば、彼はMITでコンピューターサイエンスの学士号と修士号を取得し、現在はオックスフォード大学でインターネット社会科学の修士号取得を目指しています。

以前は、NVIDIA でインターンとして働き、BERT などの言語モデルの研究に注力していました。彼はニューヨークタイムズ紙で自然言語処理の上級研究エンジニアでもありました。