OpenAIを去った技術の第一人者、カルパシー氏はついにオンラインで2時間のAI講座を開始した。 ——「GPT Tokenizer を構築しましょう。」 写真 実際、Karpathy 氏は、新しいコースが開始される 2 日前に、更新された GitHub プロジェクトでこれをすでに発表していました。 写真 このプロジェクトは minbpe です。LLM 単語分割で一般的に使用される BPE (バイト ペア エンコーディング) アルゴリズム用の最小限でクリーンな教育用コードを作成することに専念しています。 現在、GitHub には 6.1k のスターと 442 のフォークがあります。 写真 プロジェクトアドレス: https://github.com/karpathy/minbpe ネットユーザー:2時間の講座の価値は大学4年間の勉強に相当 カルパシーの新コースのリリースは、依然として業界の多くの学者の注目を集めていると言わざるを得ません。 彼は、非常に複雑な LLM の概念を常に非常にわかりやすい方法で説明することができます。 写真 ネットユーザーの中には、夕方のデートをキャンセルして授業に行く人もいた。 写真 カルパシーとのデートの夜。 写真 AI機械学習研究者のセバスチャン・ラシュカ氏は、「ゼロからの実装が気に入っており、ビデオを見るのが本当に楽しみです!」と語った。 写真 Nvidiaの上級科学者ジム・ファン氏は、「アンドレイの脳は、複雑なものを私たちの小さな思考言語モデルが理解できる単純なトークンにトークン化できる大きなモデルです。」と述べています。 写真 UCSC の助教授である Xin Eric Wang 氏も、「個人的には、彼が何年も前に公開した RL に関する記事 http://karpathy.github.io/2016/05/31/rl/ にとても感謝しています。この記事は、私が RL の分野に入るきっかけとなりました」と述べています。 写真 この 2 時間のコースの価値は 4 年間の大学の学位に匹敵すると言う人もいます。 写真 「アンドレイは最高のAI教師です。」 写真 なぜトークナイザーなのか?なぜ単語の分割について話すのでしょうか?セグメンターという言葉がなぜそれほど重要なのでしょうか? karpathy が言ったように、トークナイザーは大規模なモデル パイプライン内の完全に独立したステージです。
写真 さらに、大規模なモデルにおける多くの奇妙な動作や問題は、実際にはトークナイザーに起因している可能性があります。 例えば: - LLM はなぜ単語を綴ることができないのですか? - LLM は、文字列の反転などの非常に単純な文字列処理タスクを実行できないのはなぜですか? - LLM はなぜ英語以外の言語のタスクが苦手なのでしょうか? - なぜLLMは簡単な算数が苦手なのでしょうか? - GPT-2 が Python でコーディングするときに必要以上に問題が発生するのはなぜですか? - LLM が文字列 <lendoftextl> を検出すると突然停止するのはなぜですか? - 大規模モデルが実際にはエンドツーエンドの言語モデリングではない理由 ...... 写真 ビデオの中で彼はこれらの問題の多くについて議論しています。トークナイザーが間違っている理由と、この段階を完全に削除する方法を見つけることが理想的である理由について説明します。 2時間の授業が始まるこの講演では、OpenAI GPT シリーズで使用される Tokenizer をゼロから構築します。 YouTubeコースの章紹介によると、全部で20以上のパートがあるそうです。 これには、紹介、バイト ペア エンコーディング (BPE) アルゴリズムのウォークスルー、トークナイザー/LLM ダイアグラム (これは完全に別のステージです)、および minbpe の練習時間が含まれます。独自の GPT-4 トークナイザーなどを作成します。 コース全体は説明から演習まで始まります。 写真 以下はスピーチから要約したいくつかの重要なポイントです。 ビデオの最後で、Karpathy 氏は LLM トークナイザーで発生する奇妙な問題について再度説明します。 まず、なぜ LLM は単語を正しく綴ったり、その他のスペル関連のタスクを実行したりできないのでしょうか? 基本的に、これは文字がトークンに分割されており、これらのトークンの一部が実際にはかなり長いためです。 写真 したがって、この単一のトークンに詰め込まれた文字が多すぎると思われ、このモデルは、この単一のトークンのスペルに関連するタスクにはあまり適していないのではないかと思われます。 もちろん、私のヒントは意図的にこのように行われました。デフォルトのスタイルは単一のトークンになることがわかります。これがモデルが認識するものです。 実際、トークナイザーは文字がいくつあるか知りません。 写真 では、なぜ大規模なモデルは英語以外のタスクではパフォーマンスが低下するのでしょうか? これは、LLM がモデル パラメータをトレーニングするときに英語以外のデータが少なくなるだけでなく、トークナイザーが英語以外のデータで完全にトレーニングされていないことも原因です。 たとえば、ここでは「hello how are you」は 5 トークンですが、その翻訳は 15 トークンで、元の 3 倍になります。 写真 「안녕하세요」は韓国語で「こんにちは」を意味しますが、結局のところトークンは3つしかありません。 実は、これは非常に一般的なフレーズで、hello のような典型的な挨拶ですが、最終的には 3 つのトークンになるため、少し驚いています。 そして、英語の「hello」は単一のトークンです。 LLM が英語以外のタスクでパフォーマンスが低いと考える理由の 1 つは、単語セグメンターです。 さらに、LLM が単純な計算でつまずく理由も、デジタル トークンに関係しています。 たとえば、文字レベルのアルゴリズムを使用して加算を実行する場合、最初に 1 の位を加算し、次に 10 の位を加算し、最後に 100 の位を加算します。 写真 これらの数字の特定の部分を参照する必要がありますが、これらの数字の表現は完全に恣意的であり、主に単語分割プロセス中にどのような結合が発生したか、または発生しなかったかに基づいています。 1 つのトークンなのか、2 つのトークンの組み合わせなのか (1-3、2-2、3-1 など) を確認できます。 したがって、異なる数字はすべて異なる組み合わせになります。 写真 残念ながら、4 桁の数字すべてを含むトークンが 4 つ表示されることもあれば、3 桁、2 桁、1 桁の数字が含まれるトークンがランダムなパターンで表示されることもあります。 しかし、これも理想的ではありません。 そのため、たとえば、Llama 2 アルゴリズムをトレーニングするときに、著者が文の断片を使用する場合、Llama 2 の例として、すべての数字をセグメント化するようにしています。これは、単純な算術演算のパフォーマンスを向上させるためでもあります。 最後に、GPT-2 が Python でパフォーマンスが低い理由の 1 つは、アーキテクチャ、データセット、およびモデルの強度に関するモデリングの問題です。 しかし、問題の一部はトークナイザーでもあり、これは単純な Python の例でわかるように、トークナイザーはスペースを非常に不適切に処理します。 各スペースは個別のトークンであるため、モデルがクロスオーバーを処理できるコンテキストの長さが大幅に短縮されます。そのため、これは GPT-2 の単語分割におけるほぼ間違いであり、後に GPT-4 で修正されました。 写真 宿題カルパシー氏はコースの下部で、ネット上のユーザーに宿題の課題も出していた。 写真 ぜひチェックインしてください。 参考文献: https://twitter.com/karpathy/status/1759996549109776702?t=lnj52VquAiuW4oG8yflJbA&s=19 |
<<: オープンソースの大規模モデルの王座が交代しました! Google Gemmaが市場に参入、ノートパソコンは動作可能でビジネスにも使用可能
ホワイトハウスの関係者らが人工知能チャットボットが引き起こす可能性のある社会的危害を懸念する中、シリ...
北京時間4月16日、外国メディアの報道によると、ロボットが人間の仕事を代替するというのはSF映画のス...
0. はじめに現在、ノートパソコン、スマートフォン、ソリッドステートドライブなどの新しい電子機器には...
企業は GenAI をビジネスに適用しようとすると、多くの抵抗と予想外の変更管理の問題に直面します。...
[[266390]] 5月24日、浦江イノベーションフォーラムで「中国の新世代人工知能発展報告書20...
無向グラフの連結成分を見つける深さ優先探索を使用すると、グラフのすべての接続コンポーネントを簡単に見...
この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...
総じて、人工知能は世界の新世代の技術革命と産業転換の原動力となっており、その発展は我が国の産業構造の...
人工知能サービス - Microsoft Cognitive Services には当初、視覚、音声...
最近、米国プリンストン大学の研究者らがソフトロボットを製造する新しい方法を開発しました。このロボット...
著者: 徐潔成校正:Yun Zhao誰も予想していなかったのは、人工知能の火が世界中に広がっていた時...
以前、「【インタビュー】 - 低速反応再帰」で 3 つの再帰アルゴリズムを読みました。フィボナッチ数...
最近、2021年世界ロボット大会が北京で盛大に開幕しました。ロボット分野の最先端技術と最新の成果が展...