[51CTO.com オリジナル記事] Kubeflowには多くのコンポーネントがあり、各コンポーネントの機能について混乱しがちです。この記事ではまず、 Kubeflowを体系的にまとめ、各コンポーネントのそれぞれの用途を理解し、コンポーネント間の関係を整理して、必要なコンポーネントを合理的かつ迅速に選択できるようにします。次に、各コンポーネントの基礎となるアーキテクチャとプロセスを紹介し、さらに的を絞った学習のために詳細に分析します。

Kubeflow とは何ですか?

Kubeflowは機械学習ツールキットです。 Kubeflow は、K8S 上で実行されるテクノロジー スタックです。このテクノロジー スタックには多くのコンポーネントが含まれています。コンポーネント間の関係は比較的緩やかです。それらを一緒に使用することも、一部を個別に使用することもできます。次の図は、公式 Web サイトで ML システム コンポーネントを配置するためのプラットフォームとしての Kubeflow を示しています。

まずは Kubeflow のコンポーネントを見てみましょう。コンポーネントはたくさんありますか?次に、各コンポーネントの役割を段階的に説明します。 ML ワークフローは通常、ML システムを開発および展開する際の複数の段階で構成されます。 ML システムの開発は反復的なプロセスです。 ML ワークフローの各段階の出力を評価し、必要に応じてモデルとパラメータを変更して、モデルが引き続き目的の結果を生み出すようにする必要があります。 理解しやすくするために、次の図ではワークフローのステージを順番に示し、ワークフローに Kubeflow を追加して、各ステージでどの Kubeflow コンポーネントが役立つかを示しています。ワークフローの最後にある矢印はプロセスを指しており、プロセスの反復的な性質を示しています。

• 実験フェーズでは、最初の仮説に基づいてモデルを開発し、モデルを繰り返しテストして更新し、望ましい結果を生成します。

  • ML システムで解決したい問題を特定します。

  • ML モデルのトレーニングに必要なデータを収集して分析します。

  • ML フレームワークとアルゴリズムを選択し、モデルの初期バージョンをコーディングします。

  • データを実験し、モデルをトレーニングします。

  • 最も効率的な処理と最も正確な結果を確保するために、モデルのハイパーパラメータを調整します。

• 生産フェーズでは、次のプロセスを実行するシステムを導入します。

  • データをトレーニング システムに必要な形式に変換します (トレーニングと予測中にモデルが一貫して動作するようにするには、この変換プロセスは実験と本番の両方で同じである必要があります)。

  • ML モデルをトレーニングします。

  • オンライン予測用のモデルを提供するか、バッチ モードで実行します。

  • モデルのパフォーマンスを監視し、その結果をプログラムに入力してモデルを調整または再トレーニングします。

由此可以看出， Kubeflow的目标是基于K8S ，构建一整套统一的机器学习平台，覆盖最主要的机器学习流程（数据->特征->建模->服务→监控），同时兼顾机器学习的实验探索阶段和正式的生产环境。

Kubeflow组件

Kubeflow提供了一大堆组件，涵盖了机器学习的方方面面，为了对Kubeflow有个更直观深入的了解，先整体看一下Kubeflow都有哪些组件，并对Kubeflow的主要组件进行简单的介绍：

• Central Dashboard： Kubeflow的dashboard看板页面

• Metadata：用于跟踪各数据集、作业与模型

• Jupyter Notebooks ：一个交互式业务IDE编码环境

• Frameworks for Training：支持的ML框架

  • Chainer

  • MPI

  • MXNet

  • PyTorch

  • TensorFlow

• Hyperparameter Tuning: Katib ，超参数服务器

• Pipelines ：一个ML的工作流组件，用于定义复杂的ML工作流

• Tools for Serving：提供在上对机器学习模型的部署

  • KFServing

  • Seldon Core Serving

  • TensorFlow Serving(TFJob):提供对Tensorflow模型的在线部署，支持版本控制及无需停止线上服务、切换模型等

  • NVIDIA Triton Inference Server(Triton以前叫TensorRT)

  • TensorFlow Batch Prediction

• Operator は、さまざまな機械学習フレームワーク ( TF-Operator 、 PyTorch-Operator 、 Caffe2-Operator 、 MPI-Operator 、 MXNet-Operator )のリソース スケジューリングと分散トレーニング機能を提供します。

• Pipelines は、機械学習のシナリオを実装するArgoベースのパイプライン プロジェクトです。機械学習プロセスの作成、オーケストレーション、スケジュール設定、管理を提供し、 Web UIも提供します。

• Katib は、並列検索や分散トレーニングなどをサポートする、さまざまなOperatorに基づいたハイパーパラメータ検索とシンプルなモデル構造検索のためのシステムです。ハイパーパラメータの最適化は実際の作業では広く使用されていないため、この部分のテクノロジが成熟するまでにはまだ時間がかかります。

• Serving は、さまざまなフレームワークでトレーニングされたモデルのサービスベースのデプロイメントとオフライン予測をサポートします。 Kubeflow 、 TFServing 、 KFServing 、 Seldonなどに基づくいくつかのソリューションを提供します。機械学習フレームワークは数多く存在するため、アルゴリズムモデルも多種多様です。業界には、真に統一された導入フレームワークとソリューションが欠けていました。この点では、 Kubeflowは共通のものを統合しただけで、それ以上の抽象化や統一は行っていません。

上記では、各コンポーネントの基本的な理解と全体的な把握に役立つように、 Kubeflowコンポーネントを体系的にまとめました。鉄は熱いうちに打て。次に、各コンポーネントのアーキテクチャとワークフローを詳しく紹介します。

Jupyter ノートブック

Jupyter自体は多くのコンポーネントで構成されています。個人ユーザーの場合は、 JupyterLab + Notebookを使用すれば十分です。しかし、 Jupyter企業レベルのプラットフォームとみなすだけでは十分ではありません。このとき、複数のユーザー、リソースの割り当て、データの永続性、データの分離、高可用性、権限制御など、考慮すべき点が多数あります。これらの問題こそが、まさにK8Sの強みです。したがって、 JupyterとK8Sを併用するのは非常に自然なことです。 JupyterHub 、マルチユーザーJupyterポータルです。設計当初から、マルチユーザーの作成、リソースの割り当て、データの永続化などの機能がプラグイン モードになっていました。その動作メカニズムを下の図に示します。

JupyterHubフレームワークなので、様々なプラグインがあります。たとえば、単一マシン展開でOSユーザーを使用してマルチユーザーとデータの分離を実現したり、 OAuthを使用してユーザー認証などを完了したりすることができます。もちろん、 JupyterHub全体とK8Sを組み合わせるのが完璧な姿勢です。 KubeflowコンポーネントMulti-Tenancy in KubeflowについてはKubeflow調べていません。これに基づいて実装されているかどうかは後で比較して検討できます。 次に、 Kubeflowについて説明します。分離の欠如とリソースの制限により、現在のところ、データ サイエンティストのsoloシナリオにのみ適しており、データ サイエンティストのチーム コラボレーション シナリオをサポートすることはできません。公平に言えば、まだユーザーの信頼は得られていない。 Kubeflow default-editor ServiceAccount Jupyter notebook Podに割り当てます。このサービス アカウントは、 kubeflow-edit ClusterRoleにバインドされており、 资源具有命名空间范围的权限，其中包括：