GPU云服务器深度学习性能模型初探

 一、背景

得益于GPU强大的计算能力，深度学习近年来在图像处理、语音识别、自然语言处理等领域取得了重大突GPU服务器几乎成了深度学习加速的标配。

阿里云GPU云服务器在公有云上提供的弹性GPU服务，可以帮助用户快速用上GPU加速服务，并大大简化部署和运维的复杂度。如何提供一个合适的实例规格，从而以最高的性价比提供给深度学习客户，是我们需要考虑的一个问题，本文试图从CPU、内存、磁盘这三个角度对单机GPU云服务器的深度学习训练和预测的性能模型做了初步的分析，希望能对实例规格的选择提供一个科学的设计模型。

下面是我们使用主流的几个开源深度学习框架在NVIDIA GPU上做的一些深度学习的测试。涉及NVCaffe、MXNet主流深度学习框架，测试了多个经典CNN网络在图像分类领域的训练和推理以及RNN网络在自然语言处理领域的训练。

二、训练测试

我们使用NVCaffe、MXNet主流深度学习框架测试了图像分类领域和自然语言处理领域的训练模型。

2.1 图像分类

我们使用NVCaffe、MXNet测试了图像分类领域的CNN网络的单GPU模型训练。

NVCaffe和MXNet测试使用ImageNet ILSVRC2012数据集，训练图片1281167张，包含1000个分类，每个分类包含1000张左右的图片。

2.1.1 CPU+Memory

2.1.1.1 NVCaffe

NVCaffe是NVIDIA基于BVLC-Caffe针对NVIDIA GPU尤其是多GPU加速的开源深度学习框架。LMDB格式的ImageNet训练集大小为240GB ，验证集大小为9.4GB。

我们使用NVcaffe对AlexNet、GoogLeNet、ResNet50、Vgg16四种经典卷积神经网络做了图像分类任务的模型训练测试。分别对比了不同vCPU和Memory配置下的训练性能。性能数据单位是Images/Second（每秒处理的图像张数）。图中标注为10000指的是迭代次数10000次，其它都是测试迭代次数为1000次。

2.1.1.2 MXNet

MXNet的数据集使用RecordIO格式，ImageNet训练集 93GB ，验证集 3.7GB。

我们使用网络Inception-v3（GoogLeNet的升级版）做了图像分类的训练测试。分别对比了不同vCPU和Memory配置下的训练性能。数据单位是Samples/Second（每秒处理的图像张数）。

2.1.2 磁盘IO

我们在阿里云GN5(P100)实例上使用NVCaffe测试了GoogLeNet网络模型在NVMe SSD本地盘、SSD云盘和高效云盘上的训练性能，测试结果如下（性能数据单位是Images/Second）：

2.2 自然语言处理

我们使用MXNet测试了RNN网络的LSTM模型的训练，使用PennTreeBank自然语言数据集。PennTreeBank数据集的文本语料库包含近100万个单词，单词表被限定在10000个单词。分别对比了不同vCPU和Memory配置下的训练性能：

三、推理测试

3.1 图像分类

我们使用NVCaffe测试了图像分类领域的CNN网络的模型推理。

测试使用ImageNet ILSVRC2012数据集，验证测试图片 50000张。

3.1.1 CPU+Memory

我们使用NVcaffe对AlexNet、GoogLeNet、ResNet50、VGG16四种经典卷积神经网络做了图像分类的推理测试。分别对比了不同vCPU和Memory配置下的训练性能。数据单位是Images/Second（每秒处理的图像张数）。

3.1.2 磁盘IO

我们使用NVCaffe测试了GoogLeNet网络在NVMe SSD本地盘、SSD云盘和高效云盘上的图像分类推理性能，测试结果如下（数据单位是Images/Second）：

四、数据预处理测试

在训练模型之前，往往要对训练数据集做数据预处理，统一数据格式，并做一定的归一化处理。

我们使用NVCaffe对ImageNet ILSVRC2012数据集做了数据预处理的测试，分别对比了NVMe SSD本地盘、SSD云盘和高效云盘的数据预处理时间，数据单位是秒，数据如下：

五、数据分析

5.1 训练

5.1.1 图像分类

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!