AIスタートアップ向け優秀開発ツールガイドが人気に、Jupyterの「キラー」も発見される

AIスタートアップ向け優秀開発ツールガイドが人気に、Jupyterの「キラー」も発見される

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載しています。転載の際は出典元にご連絡ください。

AI スタートアップ向けの最高の「開発ツール」ガイドが話題になっています。

Redditでは、41のスタートアップからのアンケート回答が471回閲覧されました。

より人気のある開発環境 Jupyter に加えて、もう 1 つの存在としてDeepnoteがあります。

少人数のチームで作られ、「Jupyter Notebook」に対抗する存在ともいえるDeepnoteは、現在、数社で利用されています。

ネットユーザーたちはそれを試してみたいという希望を表明した。

これにより、Deepnote の開発者がさらに集まり、直接質問に答えるようになりました。

それで、これはどのようなガイドですか?他に興味深い開発ツールはありますか?

調査結果

この調査は、軽量ツール統合ウェブサイトであるneptune.aiが41社のAIスタートアップ企業にインタビューしたもの。

調査結果は以下の通りです。

ソフトウェア開発のセットアップ

  • IDE: Jupyter Lab + NB 拡張機能 (Deepnote を使用するユーザーも少数)、Colab および PyCharm、VSCode (R ユーザーは R studio を好む)
  • ギットハブ
  • Python(主に)、R(一部)

機械学習フレームワーク

  • データ処理と可視化: Pandas + Matplotlib + Plotly
  • クラシックアルゴリズム: Sklearn + XGBoost
  • ディープラーニング: Tensorflow + Keras または Pytorch

MLOPs について

  • オーケストレーション: Kubeflow、Airflow、Amazon Sagemaker、Azure
  • モデルのパッケージ化/提供: Kubeflow、MLflow、Amazon Sagemaker
  • トレーニングから推論までのモデルのプロファイリングと最適化: pytest-benchmark、MLperf
  • 実験管理: MLflow、Comet、Neptune

具体的な状況は以下のとおりです。

ソフトウェア開発のセットアップ

開発環境はすべてのチームのワークフローの基盤であり、IDE に関しては、多くのチームが Jupyter Notebooks や Jupyter Lab とその NB 拡張機能を好みます。

一部のチームでは標準的なソフトウェア開発 IDE を使用しており、最もよく言及されているのは Pycharm と VSCode です。

Pycharm を使用している企業である Hotelmize は、これが最高の Python IDE だと言っています。

VSCode を使用する企業は、その評判を正当化しようとしています。

VSCode は Azure との接続が簡単で、多くの ML ベースの拡張機能を提供します。

R 言語を使用するチームにとって、RStudio は最適な選択肢です。

もう一つのツール、 GitHubがあります。これはすべての AI チーム、特にスタートアップにとって朗報だと思います。

調査結果によると、GitHub は無料で強力なバージョン管理システムと共有機能を備えているため、チームにとって非常に便利であることがわかりました。

最も人気のあるプログラミング言語としては、Python、R、Clojure がリストに載っています。

いくつかのチームが環境/インフラストラクチャ設定に関して次のような提案をしていることは注目に値します。

  • デプロイメント プラットフォームとしてのAWS (シンプル レポート)。
  • Anaconda は、ソフトウェア コード、計算出力、説明テキスト、マルチメディア リソースを 1 つのドキュメントに組み合わせることができるLiving Code機能を備えているため、ML 実験を実行するための最適なツールです。 (スキャンタ)
  • Redis は、文字列、リスト、マップ、セット、ソート済みセット、HyperLogLog、ビットマップ、ストリーム、空間インデックスなど、さまざまな種類の抽象データ構造をサポートしているため、インメモリ データ構造ストレージとして主導的な地位を獲得しています。 (スキャンタ)
  • データストレージには Snowflake と Amazon S3 が使用されます。 (超巨星)
  • Spark-pyspark - ビッグデータ上でジョブを分散するための非常にシンプルな API。 (ホテルマイズ)

機械学習フレームワーク

機械学習フレームワークも不可欠です。この部分には、選択できるツールが多数あります。

表形式のデータの操作に関しては、 Pandas が最もよく言及されるライブラリです。

Sigma Polaris の CEO は、特にさまざまなプロジェクトで外部の開発者と協力する場合、Pandas は最も価値のあるツールの 1 つになる可能性があると述べました。すべてのデータはデータ フレームワークの形式で存在するため、コラボレーションがスムーズになり、不要なトラブルが軽減されます。

視覚化に関しては、 MatplotlibPlotly が最も人気のある選択肢です。

別の企業は、よりユーザーフレンドリーな Plotly チャートに基づいて構築されたインタラクティブなダッシュボード ツールである Dash を推奨しました。

標準的な機械学習の問題については、ほとんどのチームが Scikit-Learn と XGBoost を使用しますが、特にScikit-Learn が使用されています。

iSchoolConnect は次のように説明しています:

Scikit-Learn は、機械学習の研究者、エンジニア、開発者が最もよく使用するツールボックスの 1 つです。欲しいものがこんなに簡単に手に入るなんて驚きです!

ディープラーニング フレームワークとしては、PyTorch と Tensorflow+Keras がチーム内で非常に人気があります。

NLP などの特定の分野では、Huggingface、Spacy、Gensim がよく使用されるツールです。CV に関しては、OpenCV が間違いなく必要です。

MLOPs について

DevOps と同様に、MLOps は機械学習向けの DevOps であると考える人もいます。

MLOps は、モデルを本番システムに統合して展開するために必要なすべてのツールです。

これには、モデルがどこに展開されるか、どのようにそこに到達するか、より大きなソフトウェア/アプリケーションによってモデルがどのようにアクセスされるか、現実世界で ML モデルのパフォーマンスを追跡する方法、モデルがリアルタイムで管理およびテストされる方法が含まれます。

各チームはそれぞれのタスクに異なるツールを使用します。

調査結果は次のとおりです。

  • オーケストレーション: Kubeflow、Airflow、Amazon Sagemaker、Azure
  • モデルのパッケージ化/提供: Kubeflow、MLflow、Amazon Sagemaker
  • トレーニングから推論までのモデルのプロファイリングと最適化: pytest-benchmark、MLperf
  • 実験管理: MLflow、Comet、Neptune

一般的に、多くのチームは探索には Jupyter を使用し、開発には Pycharm/VSCode を使用します。

彼らは皆 GitHub が好きで、Python が最も使用されている言語です。

ディープラーニング フレームワークとしては、Tensorflow、Keras、Pytorch の使用が好まれます。

Lightning、Ignite、Catalyst、fastai、Skorch などの高度な PyTorch トレーニング フレームワークを使用する人が増えていることは注目に値します。

視覚的な探索には、matplotlib、plotly、altair、hiplot が使用されます。

実験の追跡には、チームは TensorBoard、MLflow、Sacred などのオープンソース パッケージを使用することが多いです。

詳細については、ここをクリックしてください:

https://neptune.ai/blog/tools-libraries-frameworks-methodologies-ml-startups-roundup?utm_source=reddit&utm_medium=post&utm_campaign=blog-tools-libraries-frameworks-methodologies-ml-startups-roundup

<<:  5分で初めてのPythonチャットボットを構築

>>:  AIサイバーセキュリティの今後の課題:最初で最後の防衛線となる方法

ブログ    
ブログ    

推薦する

ファーウェイの鄭葉来氏:イノベーションと包括性、テクノロジーが産業インテリジェンスの向上を促進

11月11日、中国ハイテクフェア2020が深センで開催されました。ファーウェイクラウドコンピューティ...

ダニエル・ウーの顔を5秒で変える!人気のAIアプリ「ZAO」は依然として技術的な問題に直面しています。あなたの「顔」は認証されましたか?

制作:ビッグデータダイジェスト編集部ZAOは一夜にして人気者になった。一昨夜、文翁の友人の輪には、さ...

彼らはAIを使って時の塵を拭い去り、半世紀前のアジア競技大会で中国が初めて金メダルを獲得した時の記憶を再現した。

杭州アジア競技大会初の金メダルが誕生した。女子軽量級ダブルスカルボート決勝では、中国の鄒佳琦選手と邱...

Flask を使用して機械学習モデルを簡単にデプロイするにはどうすればよいですか?

[51CTO.com クイック翻訳] データ サイエンティスト/機械学習エンジニアが Scikit...

...

人工知能が再び警告を発する!研究者は懸念している:将来、研究者が全てを支配することになる

人間と超人工知能の関係の発展は、長年にわたり話題となっている。少し前に、「人工知能研究ジャーナル」で...

...

Salesforce が AI 人材を見つけ、スキルを向上させる方法

[[415289]] AI、機械学習、データサイエンスに関連するスキルの需要は依然として高く、企業は...

衝撃の2017年!この10日間は中国の人工知能の時代

2017年にはすでに「残高不足」が発生。今年、中国の人工知能開発は多くの進歩を遂げ、実りある成果を達...

顔認識は壊れているのでしょうか?心配しないでください。「フェイスプロテクションプラン」が始まります

かつて、顔認識は人々が非常に信頼する技術でした。生産と生活に利便性、効率性、正確性をもたらしたため、...

Google BardとChatGPT、どちらを選ぶべきでしょうか?

こんにちは、ルガです。今日は、人工知能 (AI) エコシステムに関連するテクノロジーについて、Goo...

顔認識における克服すべき困難

顔認識は、生体認証の分野、さらには人工知能の分野においても最も難しい研究テーマの 1 つと考えられて...

IT ライフ: 遺伝的アルゴリズムを使用してコンピューターに歌詩を書かせる

出会いは幻想的で、窓の外はまた夜明けだった。弦楽器の音とかすかな笑顔をいつも思い出すが、世の中に花が...

AI が病院の屋内資産追跡の課題を克服する方法

IoT アプリケーションでは、AI はデータ スタックの「最上位」で使用されることが多く、複数のソー...