知乎CTO李大海：谢邀，来分享下内容社区的AI架构搭建与应用

「在信息爆炸的互联网海洋中，有价值的信息仍然是稀缺的」。知乎的诞生源于这样一个非常简单的初心。

而在挖掘真正有价值的信息过程中，知乎很好地利用了AI技术。

在今年上海召开的2020世界人工智能大会云端峰会开发者日「企业及AI架构专场」分论坛上，知乎合伙人、首席技术官李大海老师为分享了知乎作为一个内容社区，在AI架构上的搭建和应用。

李大海老师拥有多年的搜索算法经验，曾担任Google中国软件工程师，云云网工程总监，并曾担任豌豆荚搜索技术负责人，让豌豆荚成为最早涉足应用内搜索和Deep Link的公司。

2015年李大海以合伙人身份加入知乎，先后负责知乎广告技术团队、数据、算法业务。在出任CTO之后，李大海统筹负责包括大数据团队、内容流通、AI新业务拓展等在内的知乎整体技术业务。

以下为演讲主要内容整理：

大家好，我是李大海。很荣幸代表知乎来世界人工智能大会开发者日做分享。特殊时期，以这种特殊的方式跟大家作交流，心情是很复杂的。2020 年上半年是非常不容易的半年，不过我们也很高兴地看到，很多企业通过技术创新应对疫情，帮助大家维持正常的工作和生活。知乎也是其中的一员。

从2016年引入机器学习以来，AI 技术已经在知乎社区很多环节扎下根。以前我们讲算法讲得比较多，今天我想重点说一下我们在 AI 架构的搭建和应用上的经验。

在知乎，我们的 AI 架构的不同是由不同的 AI 场景和实践催生的。当然，介绍这些应用场景之前，我们应该先简单了解一下知乎。知乎是一个内容社区，包括问答、热榜、知识服务、圈子、直播等等各种产品功能和业务板块，沉淀了数亿的问题、回答、专栏、电子书等等内容，这些内容每天都在被生产、分享、消费。对于一个平台来说，是一个浩大的工程。为了让内容在社区运转得更高效，知乎引入了 AI 技术。

到目前为止，知乎的 AI 应用已经触及到业务的方方面面，并且在实践的过程中，逐步形成几个不同的算法框架。

基础AI架构

首先是基础 AI 架构。2017 年，知乎成立专门的 AI 团队，为各个业务提供一个基础算法能力输出。这个团队基于知乎海量的内容及用户行为数据，通过数据挖掘、机器学习、自然语言处理等技术，精准、全面地理解内容及用户，并将基础算法能力以标准统一的形式输出，为公司各业务赋能。

AI 团队自成立以来，为各种不同的业务提供了非常多的应用。随着时间的推移，也产生了一些痛点。比如说，由于没有统一的系统开发框架，各个业务模块和子项目都是单点作战，只有一个同事清楚业务细节，并且新建一个项目要写很多和业务无关脚手架类型的代码。再比如，有的线上代码没经过代码审核、存在非主干分支发布、个人仓库开发等问题，非常不利于协同和维护。另外，服务和模块的复用性比较低，有些常用的逻辑，比如识别打压大话题，被多人、多项目分别实现。另外，像监控不完善，部分问题发现不及时等等，都是小应用太多带来的问题。

因此，急需统一的系统架构来整合所有资源，搭建稳定的基础架构，加速 AI 技术积累并助力业务创新。

我们首先考虑设计统一的基础服务架构，统一定义基础 AI 算法的工作流和数据流。有了这个统一框架之后，很方便在框架上添加监控、报警等等功能，及时发现可能出现的问题，提高服务质量、稳定性和可用率。

在设计良好的架构和统一代码管理的模式下，方便我们去构建这个场景下的通用代码库，提高基础功能的代码复用率，并解决项目和代码的散乱问题。

在统一的基础服务架构上，团队成员的开发工作模式一致，并且沟通语言都是基于此，一定程度上会提升协作效率和沟通效率。

同时，开发人员更容易理解非自己主导项目的脉络主线，可以极大地降低工作内容调整和交接的复杂度。从另一个角度提升了协作、沟通效率。

在统一的基础服务架构下，团队不再需要关心一些通用的细节，只是按需调用 / 复用通用组件，将主要的精力用在解决问题的核心算法 / 模型上，这样一来，加速了团队的技术积累，快速地推进业务的创新。

这张图可以简单的展示知乎基础 AI 架构的体系。

我们的统一框架取名叫 zai，本质上是一个工作流水线。其中的每个部件都是可定制的。workflow 分为三大类：

• base workflow，通常只包含一种推断服务或预测服务。

• series workflow ，其可以串联多个不同的 base workflow，形成一个更复杂的服务链，比如关键词服务，需要前序依赖分词服务。

• parallel workflow ，其可以并联多种 series workflow，形成相对比较复杂的网络，比如监听内容创建 kafka topic，并分别进行多种预测处理。

在这个框架中，我们选择 proto buffer 来进行数据 schema 的定义，满足速率快和存储小的需求。

zai-serving 是预测 / 推荐模块，加载 zai-model 模块训练出来的模型来进行推断服务。模型可以支持传统模型和 NN 模型。其中 NN 模型基于 tensorflow estimator 做了改造和封装，这样具备以下优点：

• 数据管道和模型分离。

• 保留足够的模型灵活度，具有模型自定义的自由和模型相关超参调整的自由。

• 封装了训练、预测、评估、模型输出；只需要关心模型本身。

基础 AI 架构的主要应用场景，一般是各种离线的数据处理场景。在典型的线上推荐场景中，我们也正在形成统一推荐框架。

统一推荐AI架构

当越来越多的业务都需要用到推荐服务时，我们开始了统一推荐框架的工作：我们期望通过统一 Ranking 框架，将推荐系统全局排序阶段的技术统一，降低开发和维护成本，提高效率。

知乎的统一推荐框架包括以下模块：

• 统一的完备的数据 schema，打通各业务线的数据，减少重复特征数据的落地成本，并成为统一推荐框架的标准输入。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!