TensorFlow与PyTorch之争，哪个框架最适合深度学习

如果你在读这篇文章，那么你可能已经开始了自己的深度学习之旅。如果你对这一领域还不是很熟悉，那么简单来说，深度学习使用了「人工神经网络」，这是一种类似大脑的特殊架构，这个领域的发展目标是开发出能解决真实世界问题的类人计算机。为了帮助开发这些架构，谷歌、Facebook 和 Uber 等科技巨头已经为 Python 深度学习环境发布了多款框架，这让人们可以更轻松地学习、构建和训练不同类型的神经网络。本文将详细介绍和比较两种流行的框架： TensorFlow 与 PyTorch。

一、谷歌的 TensorFlow

TensorFlow 是谷歌的开发者创造的一款开源的深度学习框架，于 2015 年发布。官方研究发布于论文《TensorFlow：异构分布式系统上的大规模机器学习》。

论文地址：http://download.tensorflow.org/paper/whitepaper2015.pdf

TensorFlow 现已被公司、企业与创业公司广泛用于自动化工作任务和开发新系统，其在分布式训练支持、可扩展的生产和部署选项、多种设备(比如安卓)支持方面备受好评。

二、Facebook 的 PyTorch

PyTorch 是最新的深度学习框架之一，由 Facebook 的团队开发，并于 2017 年在 GitHub 上开源。有关其开发的更多信息请参阅论文《PyTorch 中的自动微分》。

论文地址：https://openreview.net/pdf?id=BJJsrmfCZ

PyTorch 很简洁、易于使用、支持动态计算图而且内存使用很高效，因此越来越受欢迎。接下来还会更详细地介绍。

三、我们可以用 TensorFlow 和 PyTorch 构建什么?

神经网络起初是被用于解决手写数字识别或用相机识别汽车注册车牌等简单的分类问题。但随着近来框架的发展以及英伟达高计算性能图形处理单元(GPU)的进步，我们可以在 TB 级的数据上训练神经网络并求解远远更加复杂的问题。一个值得提及的成就是在 TensorFlow 和 PyTorch 中实现的卷积神经网络在 ImageNet 上都达到了当前最佳的表现。训练后的模型可以用在不同的应用中，比如目标检测、图像语义分割等等。

尽管神经网络架构可以基于任何框架实现，但结果却并不一样。训练过程有大量参数都与框架息息相关。举个例子，如果你在 PyTorch 上训练一个数据集，那么你可以使用 GPU 来增强其训练过程，因为它们运行在 CUDA(一种 C++ 后端)上。TensorFlow 也能使用 GPU，但它使用的是自己内置的 GPU 加速。因此，根据你所选框架的不同，训练模型的时间也总是各不相同。

1. TensorFlow 顶级项目

Magenta：一个探索将机器学习用作创造过程的工具的开源研究项目：https://magenta.tensorflow.org/

Sonnet：这是一个基于 TensorFlow 的软件库，可用于构建复杂的神经网络：https://sonnet.dev/

Ludwig：这是一个无需写代码就能训练和测试深度学习模型的工具箱：https://uber.github.io/ludwig/

2. PyTorch 顶级项目

CheXNet：使用深度学习来分析胸部 X 光照片，能实现放射科医生水平的肺炎监测：https://stanfordmlgroup.github.io/projects/chexnet/

PYRO：这是一种用 Python 编写的通用概率编程语言(PPL)，后端由 PyTorch 支持：https://pyro.ai (https://pyro.ai/)

Horizon：一个用于应用强化学习(Applied RL)的平台：https://horizonrl.com (https://horizonrl.com/)

这些只是基于 TensorFlow 和 PyTorch 构建的少量框架和项目。你能在 TensorFlow 和 PyTorch 的 GitHub 和官网上找到更多。

四、PyTorch 和 TensorFlow 对比

PyTorch 和 TensorFlow 的关键差异是它们执行代码的方式。这两个框架都基于基础数据类型张量(tensor)而工作。你可以将张量看作是下图所示的多维数组。

1. 机制：动态图定义与静态图定义

TensorFlow 框架由两个核心构建模块组成：

• 一个用于定义计算图以及在各种不同硬件上执行这些图的运行时间的软件库。
• 一个具有许多优点的计算图(后面很快就会介绍这些优点)。

计算图是一种将计算描述成有向图的抽象方式。图是一种由节点(顶点)和边构成的数据结构，是由有向的边成对连接的顶点的集合。

当你在 TensorFlow 中运行代码时，计算图是以静态方式定义的。与外部世界的所有通信都是通过 tf.Sessionobject 和 tf.Placeholder 执行，它们是在运行时会被外部数据替换的张量。例如，看看以下代码段：

下图是 TensorFlow 中运行代码之前以静态方式生成计算图的方式。计算图的核心优势是能实现并行化或依赖驱动式调度(dependency driving scheduling)，这能让训练速度更快，更有效率。

类似于 TensorFlow，PyTorch 也有两个核心模块：

• 计算图的按需和动态构建
• Autograd：执行动态图的自动微分

可以在下图中看到，图会随着执行过程而改变和执行节点，没有特殊的会话接口或占位符。整体而言，这个框架与 Python 语言的整合更紧密，大多数时候感觉更本地化。因此，PyTorch 是更 Python 化的框架，而 TensorFlow 则感觉完全是一种新语言。

根据你所用的框架，在软件领域有很大的不同。TensorFlow 提供了使用 TensorFlow Fold 库实现动态图的方式，而 PyTorch 的动态图是内置的。

2. 分布式训练

PyTorch 和 TensorFlow 的一个主要差异特点是数据并行化。PyTorch 优化性能的方式是利用 Python 对异步执行的本地支持。而用 TensorFlow 时，你必须手动编写代码，并微调要在特定设备上运行的每个操作，以实现分布式训练。但是，你可以将 PyTorch 中的所有功能都复现到 TensorFlow 中，但这需要做很多工作。下面的代码片段展示了用 PyTorch 为模型实现分布式训练的简单示例：

3. 可视化

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!