北京大学计算机系教授博士生导师崔斌：以机器学系统Angel支持大数据所带来的挑战

那其他的机器学习平台，当然也有很多。比方说像刚才提到过的像08：40（英），原来是08：42这么一个机器学习的系统，后来被苹果收购了，现在也不开源了。08：48（英）还做过一个也是集成服务器08：51（英）一个分布式机器学习系统。它是实验室做的，后来因为它开始也成立创业公司，融资了，它现在也不开源了。像微软他们开始做的一些系统，现在主要也是支持深度学习比较多的。另外一个09：10（英）也是一个开源的系统，它通常是针对梯度提升类的，所以它针对性比较强。当然09：19（英）这类系统，其实在市面外面很多大数据竞赛，参加的队伍很多人还是用这个去做蛮多的，因为它里面做了一些决策数，它很多它支持，它支持的很好，速度很快，也很容易用。最后一个09：32（英）最开始是酷狗它推出了，最后它慢慢变成了09：37（英），也支持，主要支持深度学习。

那我们跟系统大概做一些比较，其实可以发现，数据的那些系统它可能是比较适合于通用的大数据，不太适合机器学习的这种算法。然后图计算的系统呢，它比较适合抽象，能够抽象成稀疏图结构的这一类算法。然后深度学习系统它主要场景是用来计算一些密集性的应用，比如说10：04（英）他们性能会比较好。

然后通过做这些机器学习的算法我们做一些分析，我们可以发现，其实在分布式机器学习这个过程中，它的一个核心就是一个参数的共享。也就是说每次参数在不同的传递，不同的过程当中，你怎么把这个事情做好，是提升机器学习效率的一个关键。所以我们在设计这个系统的过程中，主要就是我们把想提供一些很好的参数共享的服务。然后能够在这个基础上，再来整合多类的机器学习系统。

好，接下来简单介绍一下，系统的介绍。系统介绍，我们系统的框架大概就是长这个样子，然后在客户端我们用来控制任务的运行。客户端也就是说用户你可以提交一个机器学习的任务，给这个系统，用来启动和停止任务，然后加载或存储模型。然后在这个11：01（英）结点，它就是作一些基本的控制。我来约定说我用什么样的数据、用什么样的参数，是不是要给它做一个分片，要做什么样的分啪，然后你去申请什么样的资源，对吧。还有管理整个系统执行的一个过程。然后在右上角那几个点，就是一个参数，参数服务器，你可以把参数进行分片，存在不同的服务器结点上面。下面就是所有的工作结点，根据你本地的数据，做一个运算。这些具体的我这里就不讲了。

然后我们的系统不单单是自己做了很多的一些算法，同时它也能够支持现在，融合现在的系统，现在已经做到把11：50（英）已经做上去了。我们不去具体修改11：53（英）里面的一些代码，只是在参数部分做一些修改，然后性能大概提高了一倍。这是我们提供的一些算法，像逻辑回归、12：03（英）做分类的、12：04（英）做主题模型的、矩阵分解、12：07（英）做决策数的等等这些我们都已经支持。

然后我们对这个系统也跟很多系统做了对比，包括跟12：16（英）然后测试了不同的算法，然后不同的集训环境，包括我们自己实验室比较小的集群；然后在腾讯的工业环境里面，又是几千台服务器这样的集群。然后不同的数据集，基本上这个性能都得到了几倍，或者十倍以上的一个提升。这个大家有兴趣的，可以在网上去看。

然后这个系统也在腾讯的实际业务上面，做了很多的部署跟应用。像视频推荐、微信里面的推荐、点击率预估、应用建模基本上性能都提高了一个量级以上。

最后简单做一些总结，我们这个系统，是我的课题组和腾讯的数据平台部共同来联合开发的。它同时考虑的工业界的可用性跟我们学术的创新性。那现在已经在getup上面已经开源了，你如果在这面搜素angel你就能搜到我们这个系统。

然后这个系统到目前已经有2400多个Star。然后也很多人提供了，提出了很多的问题，像包括13：30（英）有些相关系统的作者也来到上面提问。如果大家有兴趣的话，可以去看看，你觉得你需要什么样的功能，也可以在上面提，我们看到的话，如果有需要，我们自己可以再加上去。你需要什么算法支持，我们就可以去加。

这个工作我们也在我们领域的相关顶级会议上，发表过多篇的文章。然后目前也是作为第三代计算平台，在腾讯上在使用。

好，最后简单做一下总结。过去几年，我们跟腾讯合作，做一个分布式学习的系统，这是能够支持非常大规模的数据，非常高维。这样的计算任务都能做，接下来我们希望利用现有的系统，通过参数服务器的一个服务的架构，能够把其他的包括流处理的、包括深度学习系统都整合进去。另外就是基于对开源的设计，我们对这个系统做进一步的开发。能够（在）保证系统稳定性的基础上，能更好的提高算法的性能。

好，这是我的一个基本的介绍，谢谢大家。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!