新しい PyTorch グラフニューラルネットワークライブラリ、14 倍高速化: LeCun が賞賛、GitHub が 2000 個のスターを獲得

[[259612]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

「CNNは古い、GNNを確立すべきだ！」

科学者たちは、グラフニューラルネットワーク(GNN) が従来の CNN では処理できない非ユークリッドデータを処理できることを発見し、これまでディープラーニングでは解決できなかった多くの問題の鍵を見つけました。

現在、グラフネットワークの PyTorch ライブラリがあり、これは GitHub で2,000 を超えるスターを獲得し、CNN の父であるYann LeCun氏にも採用されています。

これはPyTorch Geometric 、略して PyG と呼ばれ、 26 のグラフネットワークスタディのコード実装をまとめたものです。

このライブラリも非常に高速です。前身の DGL グラフネットワークライブラリと比較すると、PyG*** は最大 15 倍高速です。

包括的なライブラリ

不規則に構造化されたデータを実行する場合は、PyG を使用します。グラフ、点群、多様体など。

△ 右側は不規則な非ユークリッド空間

これは豊富なライブラリです: 多くのモデルのPyTorch 実装、さまざまな便利な変換、および多数の一般的なベンチマークデータセット。

実装といえば、ここでは、Kipf らによる Graph Convolutional Networks ( GCN ) や Bengio Lab による Graph Attention Networks ( GAT ) など、2017 年から 2019 年までの主要なカンファレンスで発表された (少なくとも) 26 のグラフネットワーク研究の簡単な実装を見つけることができます。

どれくらい速くなるのでしょうか? PyG の 2 人の著者は、NVIDIA GTX 1080Ti を使用して実験を実施しました。

対抗するDGLもグラフネットワークライブラリです。

4 つのデータセットすべてにおいて、PyG は DGL よりも高速に実行されます。最も差が大きかったのは、Cora データセットで GAT モデルを実行したときです。200 エポックを実行するのに、対戦相手は33.4 秒かかりましたが、PyG は2.2 秒しかかからず、これは対戦相手の 15 倍の速度です。

各アルゴリズムの実装は、CPU および GPU コンピューティングをサポートします。

食べ方

このライブラリの作者は、ドルトムント工科大学の 2 人のドイツ人ティーンエイジャーです。

[[259614]]

△そのうちの1つ

PyG を使用すると、グラフネットワークの構築は簡単だと言われています。

エッジ畳み込み層の実装は次のようになります。

   1.トーチをインポートする
2torch.nnからSequentialをSeqとして、LinearをLinとして、ReLUをインポートします。
 3torch_geometric.nnからMessagePassingをインポート
4  
 5クラスEdgeConv(メッセージパッシング):
 6   def __init__( self 、 F_in 、 F_out ):
 7スーパー(EdgeConv, self ).__init__()
 8  自己.mlp = Seq(Lin( 2 * F_in, F_out), ReLU(), Lin(F_out, F_out))
 9  
 10   def forward( self , x, edge_index): を使います。
 11   # x の形状は [N, F_in] です 
 12   # edge_indexの形状は[2, E]です 
 13  戻る  self .propagate(aggr= 'max' , edge_index=edge_index, x=x) # 形状 [N, F_out]  
 14  
 15  メッセージの定義(自分自身、x_i、x_j):
 16   # x_i の形状は [E, F_in] です 
 17   # x_j の形状は [E, F_in] です 
 18 edge_features = torch.cat([x_i, x_j - x_i], dim= 1 ) # 形状 [E, 2 * F_in]  
 19  戻る  self .mlp(edge_features) # 形状 [E, F_out]

インストールする前に、少なくとも PyTorch 1.0.0 がインストールされていることを確認してください。cuda/bin が $PATH にあり、cuda/include が $CPATH にあることを確認してください。

 1 $ python -c "torch をインポートします。print(torch.__version__)"  
 2 >>> 1.0 . 0  
 3  
 4 $ echo $PATH
 5 >>> /usr/local/cuda/bin:...
 6  
 7 $ エコー $CPATH
 8 >>> /usr/local/cuda/include:...