深度学习中，CPU、GPU、NPU、FPGA如何发挥优势
|
副标题[/!--empirenews.page--]
随着AI的广泛应用，深度学习已成为当前AI研究和运用的主流方式。面对海量数据的并行运算，AI对于算力的要求不断提升，对硬件的运算速度及功耗提出了更高的要求。
目前，除通用CPU外，作为硬件加速的GPU、NPU、FPGA等一些芯片处理器在深度学习的不同应用中发挥着各自的优势，但孰优孰劣? 以人脸识别为例，其处理基本流程及对应功能模块所需的算力分布如下： 为什么会有这样的应用区分? 意义在哪里? 想要知道其中的答案，需要我们先从CPU、GPU、NPU、FPGA它们各自的原理、架构及性能特点来了解。 首先，我们先来了解一下通用CPU的架构。 CPU CPU(Central Processing Unit)中央处理器，是一块超大规模的集成电路，主要逻辑架构包括控制单元Control，运算单元ALU和高速缓冲存储器(Cache)及实现它们之间联系的数据(Data)、控制及状态的总线(Bus)。 简单说， 就是计算单元、控制单元和存储单元。 架构图如下所示：  CPU遵循的是冯诺依曼架构，其核心是存储程序、顺序执行。CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control)，相比之下计算单元(ALU)只占据了很小的一部分，所以它在大规模并行计算能力上极受限制，而更擅长于逻辑控制。 CPU无法做到大量矩阵数据并行计算的能力，但GPU可以。 GPU GPU(Graphics Processing Unit)，即图形处理器，是一种由大量运算单元组成的大规模并行计算架构，专为同时处理多重任务而设计。 为什么GPU可以做到并行计算的能力?GPU中也包含基本的计算单元、控制单元和存储单元，但GPU的架构与CPU有所不同，如下图所示：  与CPU相比，CPU芯片空间的不到20%是ALU，而GPU芯片空间的80%以上是ALU。即GPU拥有更多的ALU用于数据并行处理。 以Darknet构建的神经网络模型AlexNet、VGG-16及Restnet152在GPU Titan X, CPU Intel i7-4790K (4 GHz) 进行ImageNet分类任务预测的结果：  备注：以上数据源自https://pjreddie.com/darknet/imagenet/#reference 由此可见，GPU处理神经网络数据远远高效于CPU。 总结GPU具有如下特点： 1 、多线程，提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算。 2、拥有更高的访存速度。 3、更高的浮点运算能力。 因此，GPU比CPU更适合深度学习中的大量训练数据、大量矩阵、卷积运算。 GPU虽然在并行计算能力上尽显优势，但并不能单独工作，需要CPU的协同处理，对于神经网络模型的构建和数据流的传递还是在CPU上进行。同时存在功耗高，体积大的问题。 性能越高的GPU体积越大，功耗越高，价格也昂贵，对于一些小型设备、移动设备来说将无法使用。 因此，一种体积小、功耗低、计算性能高、计算效率高的专用芯片NPU诞生了。 NPU NPU (Neural Networks Process Units)神经网络处理单元。NPU工作原理是在电路层模拟人类神经元和突触，并且用深度学习指令集直接处理大规模的神经元和突触，一条指令完成一组神经元的处理。相比于CPU和GPU，NPU通过突触权重实现存储和计算一体化，从而提高运行效率。 NPU是模仿生物神经网络而构建的，CPU、GPU处理器需要用数千条指令完成的神经元处理，NPU只要一条或几条就能完成，因此在深度学习的处理效率方面优势明显。 实验结果显示，同等功耗下NPU 的性能是 GPU 的 118 倍。 与GPU一样，NPU同样需要CPU的协同处理才能完成特定的任务。下面，我们可以看一下GPU和NPU是如何与CPU协同工作的。 GPU的加速 GPU当前只是单纯的并行矩阵的乘法和加法运算，对于神经网络模型的构建和数据流的传递还是在CPU上进行。 CPU加载权重数据，按照代码构建神经网络模型，将每层的矩阵运算通过CUDA或OpenCL等类库接口传送到GPU上实现并行计算，输出结果;CPU接着调度下层神经元组矩阵数据计算，直至神经网络输出层计算完成，得到最终结果。  CPU 与GPU的交互流程： 1获取GPU信息，配置GPU id 2 加载神经元参数到GPU 3 GPU加速神经网络计算 4接收GPU计算结果 NPU的加速 NPU与GPU加速不同，主要体现为每层神经元计算结果不用输出到主内存，而是按照神经网络的连接传递到下层神经元继续计算，因此其在运算性能和功耗上都有很大的提升。 CPU将编译好的神经网络模型文件和权重文件交由专用芯片加载，完成硬件编程。  CPU在整个运行过程中，主要是实现数据的加载和业务流程的控制，其交互流程为： 1打开NPU专用芯片设备 2 传入模型文件，得到模型task 3 获取task的输入输出信息 4 拷贝输入数据到模型内存中 5 运行模型，得到输出数据 除NPU外，在功耗及计算能力上有一拼的还有FPGA。 FPGA FPGA(Field-Programmable Gate Array)称为现场可编程门阵列，用户可以根据自身的需求进行重复编程。与 CPU、GPU 相比，具有性能高、功耗低、可硬件编程的特点。 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
