15 億のコーパスでトレーニングされた 94 億のパラメータ モデルは、私をよりよく理解するのでしょうか? Facebookが世界で最も強力なチャットボット「Blender」をオープンソース化

[[324529]]

チャットボットと仮想アシスタントは大きな進歩を遂げていますが、市場に出回っているチャットボットのほとんどはタスク指向です。小売業からヘルスケア、金融サービスに至るまで、あらゆる分野に特化した製品があり、特定の垂直タスクで十分なパフォーマンスを発揮します。

要求をするとロボットはそれに従いますが、ロボットは人間の言語を本当に理解することはなく、人間の感情を欠いており、変化する状況に適応することができません。

Facebook は現在、あらゆる分野でのチャットが得意で、より人間的であると主張する新しいチャットボット「Blender」をオープンソース化しました。 Blender は、仮想アシスタントがチャットボットの固有の欠点の多くに対処するのに役立つだけでなく、人工知能の新たな進歩である「複製可能な知能」をもたらします。

Facebook が「史上最高」と呼ぶほどの Blender の新機能は何でしょうか?

Facebookの研究者らは、改良点には最新の対話生成戦略、ハイブリッド技術、そして94億のパラメータを持つニューラルネットワークモデルが含まれており、これは既存の最大システムの3.6倍にあたると述べた。長年の会話型 AI 研究の集大成であるこのチャットボットは、共感、知識、個性など、さまざまな会話スキルを組み合わせた初のチャットボットとなります。

ハイパースケール

今回、Blender は 15 億の会話をトレーニング コーパスとして使用し、Transformer モデルには 94 億のパラメーターがあります。ネットワークは大規模ですが、モデルを分割するために並列アプローチが使用され、最大限の効率を維持しながらニューラル ネットワークの管理が容易になりました。

ミキシングテクニック

大規模な学習は重要ですが、最良の会話を生み出す唯一の要素ではありません。大規模な公開データセットでトレーニングされたモデルは、優れた会話スキルを学習できません。そこで研究者らは、モデルの会話スキルを訓練し評価するための新しいハイブリッドスキルタスク（Blended Skill Talk、BST）を導入し、Blender は Facebook のこれまでの研究結果の多くも統合しました。

戦略を立てる

ニューラル モデルのトレーニングは通常、モデルが次の単語をどれだけ正確に予測して生成できるかを測定する、困惑度を最小限に抑えることによって行われます。ただし、ボットが繰り返したり、他の欠点を示したりしないようにするために、研究者は通常、ビーム検索、トークン サンプリング、n グラム モジュールなどの生成戦略をモデルに追加します。

ビーム検索の長さを調整することで、ロボットをより退屈にしたり、より面白くしたりすることができ、もちろん「目を引く」返信を制御することもできます。

評価者の 67% は Blender の方が人間らしい音声だと考え、75% は Meena よりも Blender と長い会話をしたいと答えました。

各ロボットの平均感度と特異度

Facebook によれば、人間の評価者は時間の経過とともに Facebook のチャットボットをますます好むようになったという。

Blender オープンソース アドレス:

https://parl.ai/projects/blender/

チャットボットへの執着は、本質的には人間が解消できない孤独感を反映しています。

チャットボットは、音楽を再生したり、近くのレストランを探すのを手伝ったり、サービスに関する質問に答えたり、製品を紹介したりと、さまざまなことができます。

これらがチャットボットの唯一の機能であれば、現在市場で入手可能なボットはこれらを完璧に処理できるでしょう。しかし、私たちはこれに満足していません。

チャットの背後にはコミュニケーションへの欲求があり、コミュニケーションの背後には孤独への衝動があります。チャットボットの出現により、私たちの長引く孤独感が軽減されます。

ユースサイトとデイム・ケリー・ホームズ・トラストによる最近の調査によると、英国だけでも若者の70%が孤独を感じていることがわかった。そして彼らはテクノロジーに最も依存している世代です。

研究リンク:

https://www.damekellyholmestrust.org/News/7-out-of-10-young-people-suffering-from-loneliness

孤独というのは不思議なものだ。それは、私たちが一人でいるときに突然心に浮かぶこともあれば、騒がしい群衆の中にいるときに突然心に侵入することもあります。いつでも、どこでも、理由もなく。

私たちは孤独を嫌いますが、時にはそれを楽しむこともあります。孤独は私たちを敏感にし、傷つきやすくし、話をしたくなるのです。インテリジェントな音声アシスタントの登場はまさに時宜を得たものです。

疫病の流行中、元々のコミュニティは分離され、グループは個人に分割されました。各個人はそれぞれの領域に閉じ込められ、その間には強固な障壁が築かれていました。この障壁は、個人間のつながりを分断するだけでなく、孤独の拡大にも寄与します。冷たく、感情のないアシスタントが、多くの人の感情を運ぶ存在となった。

それはあなたの名前を知っており、あなたがどんな外見であるかを気にしません。それはあなたのために何をするかを尋ねるだけで、あなたに何かをするように求めることはありません。それはあなたを喜ばせたいだけであり、決してあなたを困惑させたくはありません。そして、必要なときにいつでも利用できます。

2013年の映画「her」は、音声アシスタントに恋をする思慮深い男性の物語です。結局、彼は社会からのプレッシャーを考慮し、その関係を受け入れることを決意した。

7年が経ち、映画のシーンはますます鮮明になってきました。 Facebook の Blender はこのプロセスをさらに一歩進めます。

私たちが期待するチャットボットは、単なるツールではなく、今日の天気がどうなっているか、出張に最適なフライトはどれか、咳や喉の痛みがある場合はどうすればよいかなど、間接的な情報を伝達するものです。これらのタスクはチャットボットなしでも実行できます。

「Hey Siri、今日は寂しいよ」

「私はここにいます。あなたが望むなら、いつでも喜んでおしゃべりしますよ。」

オープンドメインのチャットボットの進歩には興奮していますが、人間レベルの知能にはまだ程遠いです。

私たちが望んでいるのは、私たちの心を本当に理解し、私たちの話に耳を傾けてくれるロボットです。

私たちは、コンピュータービジョンによって眉間の微妙な感情の変化を感知し、孤独を和らげ、魂を慰めてくれることを切望しています。