Kubeflow 教學視頻¶

Kubeflow 101¶

Kubeflow 101 是一個致力於幫助使用者開始使用 Kubeflow 的系列視頻！通過這一系列視頻會逐漸地詳細了解什麼是 Kubeflow、Kubeflow 特別的功能，以及如何開始使用簡單、可移植且可擴展的機器學習平台。

1. Introduction to Kubeflow¶

在 Kubeflow 101 的第一集中，概述了 Kubeflow。

Kubeflow 是一個開源項目，包含一組專門針對 ML 的精選兼容工具和框架。

詳細了解 Kubeflow 圍繞構建的三個原則：可組合性、可移植性和可伸縮性 - 以及如何使用 Kubernetes 設置 Kubeflow，以最大限度地利用可用資源並以最少的手動工作進行擴展。

2. Getting Started with Kubeflow¶

在本期 Kubefow 101 中，我們將向您展示如何設置和部署 Kubeflow。

具體來說，我們將研究如何在任何 GKE 集群上設置 Kubeflow、如何使用 Google Cloud Deployer 以及如何連接到 Kubeflow。

3. Kubeflow Components¶

查看構成 Kubeflow 的不同組件。

到目前為止，您已經對 Kubeflow 有了一個大致的了解並知道如何開始。但是您知道 Kubeflow 的哪些組件可以幫助簡化您的 ML 項目嗎？在 Kubeflow 101 的這一集中，Stephanie Wong 向您展示了構成 Kubeflow 的核心組件 - 例如用戶界面、集成的 Jupyter 筆記本、Katib 和 Kubeflow 管道 - 以及它們如何幫助用戶管理、配置和構建多個 ML 模型多個框架。

4. Jupyter Notebooks¶

設置 Jupyter 筆記本。

使用 Jupyter Notebooks 是服務 ML 模型的好方法，使用這個 Kubeflow 託管的組件有一些驚人的好處。在 Kubeflow 101 的這一集中，Stephanie Wong 將向您展示如何在 Kubeflow 上設置您的 Jupyter Notebooks，並講述它們的好處——例如更好地與 Kubeflow 集成、跨團隊訪問 notebooks、與 Tensorflow 集成以及能力利用 GPU 和 TPU。

5. Intro to Kubeflow Pipelines¶

Kubeflow 管道概述。

生產中的持續培訓、元數據的自動跟踪和可重用的 ML 組件！這些只是 Kubeflow Pipelines 處理 ML 工作流編排的一些方式。在 Kubeflow 101 的這一集中，Stephanie Wong 向您展示了 Kubeflow Pipelines 如何使 ML 工作流易於組合、共享和重現。

6. Hyperparameter Tuning with Katib¶

開始使用 Katib。

你如何設置你想要訓練的時期數？如何選擇要使用的優化函數類型？在機器學習方面，可能很難知道哪些值會產生您想要的結果。在 Kubeflow 101 的這一集中，Stephanie Wong 向您展示了什麼是超參數以及 Katib 如何幫助您進行機器學習工作。觀看 Stephanie 演示 Katib，展示該工具如何幫助您調整超參數並深入了解不同的值如何影響您的總體目標。

7. Metadata management¶

Kubeflow 上的元數據。

您正在尋找隨著時間的推移提高機器學習工作流性能、效率和準確性的方法，而 Kubeflow 元數據可以幫助您做到這一點。在 Kubeflow 101 的這一集中，您將學習如何跟踪和管理工作流產生的元數據以及如何寫入元數據服務器。

8. What is KFserving?¶

KFServing 介詔。

雖然訓練您的 ML 模型是一回事，但您可以通過多種方式使用它來開始預測。在 Kubeflow 101 的這一集中，Stephanie Wong 展示了 KFserving 的簡單性，以及它為您的 ML 模型跨框架提供標準化模型服務的能力。觀看以了解如何使用此開源工具為您的模型提供類似 Kubernetes 的規模和性能！

9. Training an ML model with Kubeflow¶

查看其他 Kubeflow 示例。

在 Kubeflow 上創建和訓練 ML 模型需要什麼？在 Kubeflow 101 的這一集中，我們深入研究了一個示例 ML 模型，並向您展示了訓練模型時的最佳實踐。觀看以了解如何在 Kubeflow、GitHub 和 BigQuery 的幫助下訓練模型！

10. How to build a Kubeflow Pipeline¶

使用管道樣本進行實驗。

想了解如何從 Kubeflow Pipelines 創建 ML 應用程序？在 Kubeflow 101 的這一集中，我們將向您展示如何從我們在上一集中探索的 ML 模型構建 Kubeflow 管道。此外，我們將向您介紹如何在 Kubeflow Pipelines 中創建、測試和部署 ML 應用程序。觀看以了解 Kubeflow Pipelines 如何在使用 ML 應用程序時為複雜的工作流帶來編排。

11. Cloud AI Platform Pipelines overview¶

想要一個管道環境而不必設置整個 Kubeflow 部署？在本期 Kubeflow 101 中，我們將向您介紹 Cloud AI Platform Pipelines——一項可讓您輕鬆使用管道、在雲中創建筆記本並自動驗證其他雲服務，從而提高機器學習工作流程的可靠性和可重複性的服務無需管理複雜的部署。觀看以了解 Cloud AI Platform Pipelines 如何通過讓您更多地關注機器學習而不是基礎設施來輕鬆編排機器學習工作流程。

Building a Machine Learning Pipeline with Kubeflow¶

在本演練中，我將向您展示我如何使用 Juypter Notebooks、Kubeflow 管道、MinIO 和 Kserve 通過 Kubeflow 1.5 創建機器學習管道。我使用了 MNIST 手寫數字數據集。

源碼: flopach/digits-recognizer-kubeflow

How to create kubeflow pipeline from scratch¶

Kubeflow 管道構建和執行的端到端 Jupyter Notebook 說明

涵蓋的主題：

訓練和預測所需的Python函數
從 python 函數創建組件
初始化 kubeflow 流水線
定義管道功能並將所有組件放在一起
組件輸出存儲的安裝量
編譯pipeline並生成yaml - 可以直接上傳到kubeflow並使用UI創建實驗和運行
使用代碼從管道功能創建運行
如何禁用緩存以在第二次和連續運行時查看每個步驟的輸出

Notebook link: https://github.dev/TripathiAshutosh/shared-documents/blob/main/kf-pipeline.ipynb