弥合AI大规模落地的巨大缺口！阿里、腾讯、百度等联合推出互联网服务AI基准

端到端应用基准由四个模块组成：线上服务器、离线分析器、查询生成器和数据存储，如图 2 所示。

图 2：AIBench 实现

在线服务器（Online server） 接收查询请求，然后结合 AI 推理进行个性化搜索和推荐。

离线分析器（Offline analyzer） 选择适当的 AI 算法实现，并进行训练以生成学习模型。此外，离线分析器还负责构建数据索引以加速数据访问。

查询生成器（Query generator） 模拟并发用户，并根据特定的配置将查询请求发送到线上服务器。作者实现了基于 JMeter 的查询生成器。

数据存储模块（Data storage module） 存储各种数据，包括结构化、非结构化和半结构化数据，以及各种数据源，包括表格、文本、图像、音频和视频。

3.1.1 在线服务器

在线服务器结合传统的机器学习和深度学习技术提供个性化的搜索和推荐。在线服务器由四个子模块组成，包括搜索计划器、推荐器、搜索器和排序器。

搜索计划器（Search Planer） 是在线服务器的入口。它负责接收来自查询生成器的查询请求，并将请求发送到其他在线组件并接收返回结果。作者使用 Spring Boot 框架来实现搜索计划器。

推荐器（Recommender） 根据从用户数据库中获取的用户信息，对查询项进行分析，并提供个性化推荐。作者使用 Flask Web 框架和 Nginx 构建类别预测推荐器，并采用 TensorFlow 实现在线推荐。

搜索器（Searcher） 部署在三个不同的集群上。按点击率和购买率，产品可以按人气高低分为三类。不同流行度产品的索引存储在不同的集群中。对于每个类别，搜索器都采用不同的部署策略。高人气的集群包含更多的节点和备份，保证了搜索效率。而受欢迎程度较低的集群部署的节点和备份数量最少。作者使用 Elasticsearch 来建立和管理三个搜索集群。

排序器（Ranker） 使用推荐器返回的权重作为初始权重，通过一个个性化的 L2R 神经网络对产品得分进行排序。排序器也使用 Elasticsearch 实现产品排序。

在线服务流程如下：

（1）查询生成器模拟并发用户，向搜索计划器发送查询请求；

（2）搜索计划器接收查询请求并将查询项发送给推荐者；

（3）推荐器对查询进行分析，并将类别预测结果和个性化属性权重返回给搜索计划器；

（4）搜索计划器向搜索器发送初始查询项和预测的分类结果；

（5）搜索器搜索反向索引并将产品 ID 返回给搜索计划器；

（6）搜索计划器向排序器发送产品 id 和个性化属性权重；

（7）排序器根据初始权重对产品进行排序，并将排序得分返回给搜索计划器；

（8）搜索计划器根据产品标识发送产品数据库访问请求，获取产品信息；

（9）搜索计划器将搜索到的产品信息返回给查询生成器。

3.1.2 离线分析器

离线分析器负责训练模型和建立索引，以提高在线服务性能。它由人工智能训练器、作业调度程序和索引器三部分组成。

人工智能训练器（AI trainer） 利用数据库中存储的相关数据训练模型。

作业调度程序（Job scheduler） 提供了两种训练机制：批处理和流式处理。在现实场景中，一些模型需要经常更新。例如，当我们搜索一个项目并点击第一页中显示的一个产品时，应用程序将立即基于我们刚刚单击的产品训练新模型，并在第二页中显示新的推荐。该基准实现考虑了这种情况，并采用流式方法每隔几秒钟更新一次模型。对于批处理，训练器将每隔几个小时更新一次模型。

索引器（Indexer） 用于为产品信息构建索引。

3.2 其他行业应用程序的可扩展性

以医学人工智能场景为例，作者介绍了如何利用 AIBench 框架构建临床诊断应用的端到端基准。人工智能相关的临床诊断关键路径包括以下步骤。

1）根据病史数据离线训练一系列诊断模型，如检测模型、分类模型、推荐模型等；

2）检测患者体检数据中的异常信息，如 CT 图像的肿瘤检测；

3）分类预测潜在疾病；

4）推荐适合的治疗方案。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!