NNI：自动帮你做机器学习调参的神器

NNI 自动机器学习调参，是微软开源的又一个神器，它能帮助你找到最好的神经网络架构或超参数，支持 各种训练环境 。

它常用的使用场景如下：

• 想要在自己的代码、模型中试验 不同的机器学习算法 。
• 想要在不同的环境中加速运行机器学习。
• 想要更容易实现或试验新的机器学习算法的研究员或数据科学家，包括：超参调优算法，神经网络搜索算法以及模型压缩算法。

它支持的框架有：

• PyTorch
• Keras
• TensorFlow
• MXNet
• Caffe2
• Scikit-learn
• XGBoost
• LightGBM

基本上市面上所有的深度学习和机器学习的框架它都支持。

下面就来看看怎么使用这个工具。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，可以访问这篇文章：超详细Python安装指南 进行安装。

**(可选1) **如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

**(可选2) **此外，推荐大家用VSCode编辑器，它有许多的优点：Python 编程的最好搭档—VSCode 详细指南。

请选择以下任一种方式输入命令安装依赖 ：

1. Windows 环境 打开 Cmd (开始-运行-CMD)。
2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。
3. 如果你用的是 VSCode编辑器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install nni

2.运行示例

让我们运行一个示例来验证是否安装成功，首先克隆项目：

git clone -b v2.6 https://github.com/Microsoft/nni.git

如果你无法成功克隆项目，请在Python实用宝典后台回复 **nni **下载项目。

运行 MNIST-PYTORCH 示例， Linux/macOS ：

nnictl create --config nni/examples/trials/mnist-pytorch/config.yml

Windows ：

nnictl create --config nniexamplestrialsmnist-pytorchconfig_windows.yml

出现这样的界面就说明安装成功，示例运行正常：

访问 http://127.0.0.1:8080 可以配置运行时间、实验次数等：

3.模型自动调参配置

那么如何让 NNI 和我们自己的模型适配呢？

观察 config_windows.yaml 会发现：

searchSpaceFile: search_space.json
trialCommand: python mnist.py
trialGpuNumber: 0
trialConcurrency: 1
tuner:
  name: TPE
  classArgs:
    optimize_mode: maximize
trainingService:
  platform: local

我们先看看 trialCommand, 这很明显是训练使用的命令，训练代码位于 mnist.py，其中有部分代码如下：

def get_params():
    # Training settings
    parser = argparse.ArgumentParser(description='PyTorch MNIST Example')
    parser.add_argument("--data_dir", type=str,
                        default='./data', help="data directory")
    parser.add_argument('--batch_size', type=int, default=64, metavar='N',
                        help='input batch size for training (default: 64)')
    parser.add_argument("--batch_num", type=int, default=None)
    parser.add_argument("--hidden_size", type=int, default=512, metavar='N',
                        help='hidden layer size (default: 512)')
    parser.add_argument('--lr', type=float, default=0.01, metavar='LR',
                        help='learning rate (default: 0.01)')
    parser.add_argument('--momentum', type=float, default=0.5, metavar='M',
                        help='SGD momentum (default: 0.5)')
    parser.add_argument('--epochs', type=int, default=10, metavar='N',
                        help='number of epochs to train (default: 10)')
    parser.add_argument('--seed', type=int, default=1, metavar='S',
                        help='random seed (default: 1)')
    parser.add_argument('--no_cuda', action='store_true', default=False,
                        help='disables CUDA training')
    parser.add_argument('--log_interval', type=int, default=1000, metavar='N',
                        help='how many batches to wait before logging training status')
    args, _ = parser.parse_known_args()
    return args

如上所示，这个模型里提供了 10 个参数选择。也就是说 NNI 可以帮我们自动测试这10个参数。

那么这些参数在哪里设定？答案是在 searchSpaceFile 中，对应的值也就是 search_space.json:

{
    "batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]},
    "hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]},
    "lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]},
    "momentum":{"_type":"uniform","_value":[0, 1]}
}

这里有4个选项，NNI 是怎么组合这些参数的呢？这是 tuner 参数干的事，为了让机器学习和深度学习模型适应不同的任务和问题，我们需要进行超参数调优，而自动化调优依赖于优秀的调优算法。NNI 内置了先进的调优算法，并且提供了易于使用的 API。

在 NNI 中，Tuner 向 trial 发送超参数，接收运行结果从而评估这组超参的性能，然后将下一组超参发送给新的 trial。

下表简要介绍了 NNI 内置的调优算法。

可以看到本示例中，选择的是TPE tuner.

其他的参数比如 trialGpuNumber，指的是使用的gpu数量，trialConcurrency 指的是并发数。trainingService 中 platform 为 local，指的是本地训练。

当然，还有许多参数可以选，比如：

trialConcurrency: 2                 # 同时运行 2 个 trial
maxTrialNumber: 10                  # 最多生成 10 个 trial
maxExperimentDuration: 1h # 1 小时后停止生成 trial

不过这些参数在调优开始时的web页面上是可以进行调整的。

所以其实NNI干的事情就很清楚了，也很简单。你只需要在你的模型训练文件中增加你想要调优的参数作为输入，就能使用NNI内置的调优算法对不同的参数进行调优，而且允许从页面UI上观察调优的整个过程，相对而言还是很方便的。

不过，NNI可能不太适用一些数据量极大或模型比较复杂的情况。比如基于DDP开发的模型，在NNI中可能无法实现大型的分布式计算。