Sagemaker Script Mode
==============================================================================


介绍
------------------------------------------------------------------------------
根据前面的知识我们知道 Sagemaker 的杀手级功能就是把 "用远程服务器训练机器学习模型" 这一功能封装好了. 但是使用这一功能的前提是你所用的算法 Sagemaker 有预先配好的的 AMI 和 Docker Image 环境. 这些复杂的工作是 AWS 在维护. 但是社区不断的涌现各种新算法, 很多算法你是无法直接用 Sagemaker SDK 中直接远程执行的. 所以 Sagemaker SDK 提供了 Script Mode 这一功能, 能让 Data Scientist 免于复杂的构建运行环境镜像的麻烦, 而专注于撰写 training 代码.

为了帮助理解, 你可以看下面的对比:

- 目的是用高性能大内存的远程服务器来训练 ML 模型
- 什么工具都不用, 硬写 Notebook: 自己写 script, 自己构建 Runtime
- 用 Sagemaker Training: 不用写 script, 不用构建 Runtime, 只用填 parameter
- 用 Sagemaker Script Mode: 自己写 script, 不用构建 Runtime

Script Mode 的核心是 entry point script, 跟 docker 里的 entry point script 类似.


文档
------------------------------------------------------------------------------
- 介绍 Script Mode 的概念以及提供了一些示例代码: https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-script-mode/sagemaker-script-mode.html
    - 一个 entry point 的例子: https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-script-mode/scikitlearn_script/train_deploy_scikitlearn_without_dependencies.py
- 一个使用 Script Mode + Sklearn 的例子: https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-script-mode/sklearn/sklearn_byom_outputs.html
    - 一个 entry point 的例子: https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-script-mode/sklearn/train.py
- 一个介绍 Script Mode 的 AWS Blog: https://aws.amazon.com/blogs/machine-learning/bring-your-own-model-with-amazon-sagemaker-script-mode/


如何编写 Training Script
------------------------------------------------------------------------------

- 如何编写 Training Script 的官方文档: https://sagemaker.readthedocs.io/en/stable/frameworks/sklearn/using_sklearn.html#preparing-the-scikit-learn-training-script


如何在不 Build Docker Image 的情况下的在 Script Mode 中使用额外的 Python Library
------------------------------------------------------------------------------
**问题**

    我们在 Jupyter Notebook 上开发了一个 ML 模型. 但是在开发的过程中我们需要用 ``%pip install ...`` 安装了一些第三方依赖. 而我的 ML 模型需要用到这些依赖. 我们如何在 Remote Training 以及 Deploy Endpoint 的时候包含这些依赖呢?

**分析问题的本质**

    我们用 Sklearn 举例. Script Mode 的本质就是 Sagemaker 自己管理着一个 Docker Container. 里面安装了 Python 以及一些 Sklearn 的依赖. 而你本地的 Jupyter Notebook 的 Kernel 里也有一些依赖. 这个问题的本质就是找到 AWS Managed Docker Container 和你开发用的 Jupyter Notebook 中的依赖列表的差异.

    这个差异