携帯電話なら何でもコピー＆ペーストできる。このデザイナーはパートタイムでコードを書き、ARを新たなレベルに引き上げた。

見たものを何でもコピーします。これは魔法ですか、それとも孫悟空の魔力ですか?どちらでもない。これが AR の魔法です。

[[324681]]

オブジェクトの画像を Photoshop にインポートするにはどうすればよいですか?まず写真を撮り、インターネットまたはメモリカード経由で写真をコンピューターに転送し、Photoshop インターフェイスにインポートする必要があります。では、これらのプロセスは 1 つのステップで完了できるのでしょうか?

今、AR はそれを可能にします。

AR Cut & Pasteと呼ばれるツールでは、ユーザーはこのツールを携帯電話に事前にインストールし、対象物の写真を撮り、その画像をコピーしてPhotoshopに貼り付けるだけで済みます。これは「テレキネシス」に少し似ています。

まずは効果を見てみましょう:

[[324682]]

鉢植えの植物。

[[324683]]
衣類。

[[324684]]

本。

上のアニメーション画像のように、鉢植えでも、洋服でも、本でも、見たらすぐにコピーして、ワンクリックでPhotoshopに取り込んで画像素材に変えることができます。グラフィックデザイナーにとってはありがたい存在です。

現在のツールの切断遅延は約 2.5 秒、貼り付け遅延は約 4 秒であると報告されており、プロセスはさらに加速できます。さらに、作者は来週、別の AI + UX プロトタイプをリリースすることも発表しました。

プロジェクト紹介

AR カット＆ペーストツールは、周囲の環境から固定オブジェクトをコピーし、画像編集ソフトウェア (Photoshop) に貼り付けることができる AR+ML プロトタイプです。このツールは Adobe Photoshop ソフトウェアでのみ動作し、将来的には異なる出力の処理をサポートする可能性があることに注意してください。

プロジェクトアドレス: https://github.com/cyrildiagne/ar-cutpaste

プロトタイプには、モバイルアプリ、ローカルサーバー、オブジェクト検出および背景除去サービスという 3 つの独立したモジュールがあります。

まず、ユーザーは携帯電話に AR Cut & Paste を事前にインストールする必要があります。

 npmインストール

次に、モバイルアプリと Photoshop 間のインターフェイスとして、ユーザーは事前にローカルサーバーを構成する必要があります。

仮想環境 venvsource venv/bin/activate
 pip インストール -r 要件.txt

最後に、顕著なオブジェクトの検出と背景の除去は外部サービスによって実行されます (BASNet テクノロジを適用)。ユーザーは、次のコード内の 123456 を自分の Photoshop リモート接続パスワードに置き換える必要があります。

 python src/main.py \
    --basnet_service_ip= "http://XXXX" \
    --basnet_service_host= "basnet-http.default.example.com" \
    --photoshop_パスワード123456

技術詳細

このツールは、BASNet (Qin et al、CVPR 2019) を使用して、顕著なオブジェクトの検出と背景の除去を実行します。

次に、OpenCV SIFT を使用して、コンピューター画面上で携帯電話が向いている場所を調べます。正確な x、y 画面座標系を取得するには、携帯電話の写真とスクリーンショットだけが必要です。

目立つオブジェクトの検出と背景の除去

プロジェクト作成者は、BASNet を使用して顕著なオブジェクトの検出と背景の除去を実行しました。

BASNet は、境界の顕著性の検出に関する CVPR 2019 論文「BASNet: 境界を考慮した顕著なオブジェクトの検出」に基づいています。その主な革新は、クロスエントロピー、構造類似性損失、および IoU 損失の混合損失を使用する損失関数の設計にあります。これにより、ネットワークは、以前のように地域精度のみに焦点を当てるのではなく、境界品質にさらに注意を払うようになります。単一の GPU で 25 fps で実行でき、6 つのパブリックデータセットで SOTA 結果を達成できます。

BASNet のアーキテクチャを下図に示します。

使いやすさを考慮して、プロジェクト作成者は BASNet HTTP サービスラッパーを作成しました。

GitHub アドレス: https://github.com/cyrildiagne/basnet-http

位置

SIFT (スケール不変特徴変換) は、キーポイント検出に使用されるアルゴリズムです。SIFT アルゴリズムによって検出されたキーポイントは、通常、光や視野角などの変化に対して非常に堅牢であり、視線の遮蔽によっても大きな影響を受けません。 SIFT アルゴリズムのもう 1 つの利点は、計算速度が非常に速く、基本的にリアルタイム計算の要件を満たすことができることです。

[[324685]]

SIFT アルゴリズムの例。画像ソース: Wikipedia URL: https://en.wikipedia.org/wiki/Scale-invariant_feature_transform

このツールは、OpenCV SIFT を使用して、コンピューター画面上で携帯電話が向いている場所を検出します。

[[324686]]

プロジェクト作成者はこれを小さな Python パッケージにパッケージ化しました。以下を参照してください。

GitHub アドレス: https://github.com/cyrildiagne/screenpoint