ビッグデータ、機械学習、ディープラーニングのためのコマンドラインツールの概要

[51CTO.com クイック翻訳] キーボードを握ってください! マウスや GUI がなくても、OS X と Linux で多くの操作を完了できます。さまざまな *N*X システム向けの多数の優れたコマンドラインツールの人気はテクノロジー業界で常に非常に高く、Python、Go、NodeJS、さらにはさまざまなハイブリッドツールにまで拡大しています。コマンドラインからデータ処理パイプライン全体を実行する予定がない場合でも、これらのツールは非常に役立ちます。

書籍『Data Science at the Command Line』と GitHub はどちらも、多数の高レベルの前処理および後処理ツールオプションを提供しており、必要に応じて調整することもできます。今日の記事では、私のお気に入りのツールの中から特におすすめのものをいくつか紹介します。

CSVKit は間違いなく試してみる価値があります。カンマ区切りの値を使用して必要な操作をすべて実行します。 cvs cut を使用して列を切り取ったり、cvsgrip を使用して列をフィルター処理したり、sql2csv を使用して PostgreSQL から CSV にデータを抽出したり、cols を使用して列のサブセットを切り取ったり、in2cv を使用して Microsoft Excel を CSV に変換したりできます。

クイックツール推奨リスト

Python データ分析 (Agate)。
ImageMagick (コマンドラインから画像を編集、作成、変換、反転、変更します)。
JSON 2 CSV。
NodeJS 経由の XML2JSON。
HTML から画像へ。
HTML から PDF へ。
ウェザーアンダーグラウンド CLI。
NIFI シェル。
Scala/JVM を使用したテスト用の Gatling。
JSON を使用した Kafka プロデューサー。
JSON を使用した Kafka Consumer。
JSONを作成します。
画像メタデータの抽出。
クエリインフラストラクチャ用の OSQuery。
コマンドライン OCR 用の Tesseract。
Hadoop/HDFS コマンドラインツール。
カール。
ゲット。
MQTT CLI (NPM.JS)。

短い Python スクリプトを記述して、コマンドラインからデータ処理を実行することもできます。

 nltk.sentiment.vader より
SentimentIntensityAnalyzerをインポートする
インポートシステム
sid = 感情強度アナライザー()
 ss = sid.polarity_scores(sys.argv[ 1 ])
 print( '複合 {0} 負 {1} 中立 {2} 正 {3} ' .format(ss[ 'compound' ], ss[ 'neg' ], ss[ 'neu' ], ss[ 'pos' ]))