ディープラーニングはフロントエンド開発ツールになりました：UI設計図に基づいてコードを自動生成します

UI デザイナーとフロントエンド エンジニアの間にニューラル ネットワークが必要になる場合があります。

最近、コペンハーゲンに拠点を置くスタートアップ企業Uizard Technologiesが「pix2code」と呼ばれるシステムを開発しました。このシステムはディープラーニングを使用することで、入力されたグラフィカル ユーザー インターフェイス (GUI) のスクリーンショットに基づいて対応するコードを直接出力できるため、フロントエンドでの手動コード記述のプロセスが不要になります。

現在、pix2code によって生成されたコードの精度は 77% に達しており、これらのコードは Android、iOS、Web インターフェイスの 3 つのプラットフォームと互換性があります。

すごいですね。詳しくは下のビデオをご覧ください。

UIzard の創設者 Tony Beltramelli 氏は、このニューラル ネットワークを開発するために、R&D チームが 3 つの大きな困難を克服しなければならなかったと述べています。

• 1 つ目はコンピューター ビジョンのレベルです。コンピューターは与えられたオブジェクトやシーンを自動的に認識して理解することはできませんし、それらの位置や特徴を判断することもできません。

• 2 つ目は言語レベルです。ニューラル ネットワークにテキストを理解してもらい、正確なサンプルを作成できるようにする必要があります。

• 最後に、ニューラル ネットワークは、コード、テキスト、および対応する画像間の関係を理解する必要があります。

ベルトラメリ氏はまた、将来的には生成的敵対ネットワーク (GAN) を使用して pix2code をさらに改良する可能性があると述べた。 GAN はシーケンスや画像の生成においてその利点が実証されていますが、この分野の研究はまだ比較的初期段階にあるため、ニューラル ネットワークのトレーニングにはまだ多くの時間がかかります。

添付書類の宛先:

https://arxiv.org/abs/1705.07962

GitHub アドレス:

https://github.com/tonybeltramelli/pix2code

さらに、GitHub では、Beltramelli 氏が pix2code に関連するよくある質問に回答しました。量子ビットはこのセクションを次のようにコンパイルします。

Q: データセットはいつ利用可能になりますか?

A: 私たちは今年の NIPS に論文を提出しました。論文が受理されるか却下されるかが決まれば、データセットは 9 月に一般公開される予定です。その時点で、データセットに含まれる GUI のスクリーンショット、関連する DSL コード、iOS、Android、Web インターフェースの 3 つのターゲット コードが提供されます。

Q: ソースコードはいつリリースされますか?

A: 当初の論文に書かれていた通り、コードをオープンソース化する予定はありませんでした。しかし、このプロジェクトがこれほど注目を集めるとは予想していなかったため、論文に記載されている pix2code 実装コードとデータセットをオープンソース化することにしました。

Q: pix2code は他のターゲット プラットフォーム/言語もサポートしますか?

A: いいえ、pix2code は単なる研究プロジェクトであり、論文に記載されているとおりに残ります。このプロジェクトは、Uizard Technologies で私たちが行っている仕事のほんの小さなデモンストレーションにすぎません。もちろん、他のターゲット プラットフォーム/言語でフォークして自分で実験することも歓迎します。

Q: フロントエンド プロジェクトで pix2code を使用できますか?

A: いいえ、pix2code は単なる実験的なプロジェクトであり、特定のケースで使用することはまだできません。しかし、私たちはそれを商業的に利用できるようにするために一生懸命取り組んでいます。

Q: モデルのパフォーマンスはどのように測定されますか?

A: 論文で報告されている正確な結果または不正確な結果は、生成されたトークンと予想されるトークンを比較することによって DSL レベルで得られます。両者の長さに不一致がある場合もエラーとみなされます。

Q: このモデルのトレーニングにはどのくらいの時間がかかりますか?

A: NVIDIA Tesla K80 GPU では、データセットに含まれる 109 * 10^6 個のパラメータを最適化するのに 5 時間もかかりません。したがって、このモデルを 3 つのターゲット プラットフォームでトレーニングする場合、約 15 時間かかります。

Q: 私はフロントエンド開発者ですか?もうすぐ仕事がなくなってしまうのでしょうか？ （私はこの質問を何度も誠意を持って尋ねてきました...）

A: AI がフロントエンドエンジニアに取って代わることはそうすぐにはないでしょう。

あらゆるプラットフォーム/言語で 100% 正確にコードを生成する pix2code の成熟バージョンがあったと仮定しても、優れたフロントエンドには、ロジック、インタラクティブ性、高度なグラフィックスとアニメーション、およびユーザーが好むその他のすべてのものが必要になります。

これを実行する目的は、UI/UX デザイナーとフロントエンド開発者を置き換えることではなく、両者の間のギャップを埋めることです。私たちは、デザイナーがより良いものを作成できるようにし、開発者がコア機能に多くの時間を費やせるようにしたいと考えています。

私たちは、将来 AI が人間に取って代わるのではなく、人間と協力するようになると信じています。

---------------------------------------------------

編集：唐旭

量子ビットレポート | パブリックアカウント QbitAI