让神经网络训练速度加快4倍！谷歌大脑团队提出“数据回送”算法
发布时间：2019-07-23 00:04:05 所属栏目：建站 来源：AI前线小组 译
导读：在摩尔定律的暮色中，GPU 和其他硬件加速器极大地加速了神经网络的训练。但是，训练过程的前期阶段（如磁盘读写和数据预处理）并不在加速器上运行。随着加速器的不断改进，这些前期阶段所花费的时间将逐渐成为训练速度的瓶颈。谷歌大脑团队提出了数据回送
|
批处理前或批处理后的回送： 批处理前的回送是指数据在样本级别而不是批级别进行重复。这样增加了相邻批次不同的可能性，但代价是不能复制一批内的样本。批处理前回送的算法称为 样本回送（example echoing），批处理后回送的算法称为 批回送（batch echoing）。 数据增强前或数据增强后的回送： 数据增强前的回送允许重复数据进行不同的转换，能使重复数据更接近新数据。 数据回送的表现也受回送阶段后 shuffle 程度的影响。在适用的情况下，作者将 shuffle 作为缓冲区。缓冲区越大，shuffle 程度越高，训练算法能够近似于将整个训练集加载到内存中。 3、 实验（编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
