弥合AI大规模落地的巨大缺口！阿里、腾讯、百度等联合推出互联网服务AI基准

现如今，互联网服务正经历着根本性的变化，并逐渐转向智能计算时代。现代互联网服务提供商普遍采用人工智能来增强其服务。在这种背景下，研究人员提出了许多创新的人工智能算法、系统和架构，因此基准（benchmark）和评估基准的重要性也随之上升。然而，现代互联网服务采用基于微服务的体系结构，由多种模块组成。这些模块的多样性和执行路径的复杂性、数据中心基础设施的庞大规模和复杂层次结构、数据集和工作负载的保密问题对设计基准提出了巨大挑战。

这篇论文中，百度、阿里、腾讯等几家头部互联网服务提供商联合中国的 17 个互联网企业共同推出了第一个具有行业标准的互联网服务 AI 基准——AIBench。AIBench 提供了一个高度可扩展、可配置、灵活的基准测试框架。作者从三个最重要的互联网服务领域（搜索引擎、社交网络和电子商务）中确定了 16 个较为突出的人工智能问题领域。在 AIBench 框架的基础上，作者利用真实世界的数据集和工作负载，设计并实现了第一个端到端的互联网服务 AI 基准。在 CPU 和 GPU 集群上，作者对端到端应用程序基准进行了初步评估。与 AI 相关的组件显著地改变了互联网服务的关键路径和工作负载特性，证明了端到端 AI 应用程序基准的正确性和必要性。这篇论文是目前为止最全面的 AI 基准工作。我们将在 AI 前线第 92 篇论文导读中详细解读这项 AI 基准工作。

人工智能技术的进步为图像、视频、语音、音频等处理技术带来了突破，推动了大规模人工智能算法、系统和体系结构的部署，因此现代互联网服务提供商普遍采用人工智能来增强其服务。例如，阿里巴巴提出了一种新的 DUPN 网络，以实现更有效的个性化。Google 推出了 TensorFlow 系统和 TPU 来提高服务性能。亚马逊采用人工智能进行智能产品推荐。

因此，测量和评估这些算法、系统和体系结构的压力逐渐增大。首先，现实中的数据集和工作负载被互联网服务提供商视为一级机密问题，只有少数公开可用的性能模型，或针对行业规模互联网服务的研究成果可用于进一步研究。由于没有公开的互联网服务基准，只有内部的研究人员才能推动互联网服务的现状，这种不可持续的状态对推进开放式互联网服务造成了巨大障碍。

其次，人工智能已经渗透到互联网服务的几乎所有方面。因此，为了覆盖现实人工智能场景的关键路径和突出特点，应该提供 端到端的应用基准（application benchmarks）。我们需要找到具有代表性的数据集，总结出主要的 人工智能问题领域（组件基准，component benchmarks），并进一步了解什么是最密集的 计算单元（微基准，micro benchmarks），在此基础上，我们可以构建一个简洁而全面的人工智能基准框架。

最后，从体系结构的角度来看，在早期阶段将一个完整的人工智能应用程序移植到一个新的体系结构是很困难的，甚至是不可能的。而在后期，仅仅使用微基准或组件基准则不足以对不同模块进行深入分析，或在现实应用场景中确定瓶颈问题。目前最先进的 AI 基准只提供了很少的微基准或组件基准，均无法覆盖行业规模的互联网服务的全部案例。因此，构建一个由全部的微基准或组件基准，以及端到端应用基准组成的互联网服务 AI 基准，对于弥合这一巨大缺口具有重要意义。

论文贡献：   

• 提出并实现了一个高度可扩展、可配置、灵活的人工智能基准框架。
• 与 17 个行业合作伙伴共同确定了 16 个突出的人工智能问题领域，并相应地针对这些领域实施了 16 个组件基准。
• 设计并实施了第一个行业规模的端到端互联网服务人工智能基准，其中包含一个底层电子商务搜索模型。
• 在 CPU 和 GPU 集群上，实现端到端的互联网服务 AI 基准，并对性能、运行效率和执行时间进行了深入分析，为进一步优化提供了指导。

表 1：AI 基准对比

2.1 框架结构

AIBench 框架提供了一个通用的、灵活且可配置的 AI 基准框架，如图 1 所示。它提供了松散耦合的模块，这些模块可以通过配置和扩展组成端到端的应用程序，包括数据输入、人工智能问题领域、在线推理、离线训练和部署工具模块。

图 1：AIBench 框架

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!