加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

滴滴为啥值3600亿?看它的数据中台就知道了

发布时间:2019-12-13 09:46:44 所属栏目:编程 来源:站长网
导读:副标题#e# 前年阿里开始讲数据中台业务,去年以来这个概念很火直到最近。我在阿里待了 10 年的时间,也参与了中台建设,今天想跟大家分享一下背后的逻辑,还有我在滴滴的实践,以及中台本质的问题是什么。 图片来自 Pexels 本文主要围绕如下几个部分展开:

滴滴为啥值3600亿?看它的数据中台就知道了

基于这样的数据文化,我们去做了精益的数据生产的体系,我们把它总结为以价值链来拉动。

在滴滴梳理出来了将近 2000 多条数据生产的链条一路,从数据的采集再到数据的使用,经过这样的梳理来判断哪些数据产生的价值更大,哪些数据的影响面更广。

基于这样的数据价值链我们就做了下面相应的工作,很多是像丰田生产流水线学习的。

第一个是分级,我们认为不可能把所有的数据问题用所有的精力解决掉,这也是不现实的,或者这个是浪费。

精益里面最关键一点是减少浪费,把所有的东西用同样的方式做同样的处理,所以第一个分级,对数据做了 T1、T2、T3 的分级。

第二个监控,我们必须实时知道这个数据在怎么被加工处理,进入的情况是什么样的,产出的情况是什么样的,加工处理过程中间的产出各种日志是什么样的。

在《管理》那本书里要提到要控制好任何一个生产线的质量,最关键的就是持续统计管理。在生产过程中任何数据都被统计下来,来发现这里面的问题。

第三个复盘,有了监控之后知道系统里面会出现哪些问题、变化,每一个这样的异常、变化和问题都会有一个小组召开相应的复盘。

从 2017 年 4 月份到 2019 年 1 月份做了 150 多次的复盘,复盘率超过了 89%,相应每一次复盘对于系统的改进都是巨大的。

最后把复盘得到的从人员、流程、系统上得到改进的方案,通过系统的方式把它给沉淀下来。

我们认为只有通过自动化的方式,才能真正的去落地规范,才能真正落地文化和流程。

所以说在自动里面用了一个日文字,我们认为这个“働”,不仅仅是要流程串在一起,有一个程序让它跑起来就行了,这里面需要人参与的。

人在这里面持续迭代更新它,人是最聪明的,以及现在人还可以做出人工智能来替它更高效优化。

另外一条支柱我们有了稳定的数据生产链,我们有方法可以让它持续稳定下来之后,另外开始着手建立数据创新的体系。

我们从哪儿去借鉴呢?这 20 多年来敏捷的软件开发就在我们身边,我们完完全全可以借鉴这套,包括从五年前开始火起来的 DevOps。

我认为是数据体系需要认认真真去学习这个方法论,而不是有些时候过于强调数据工程的独特性。

我们把数据工程很多处理的方式归结为 ETL 模型,但是随着现在越来越多的应用随着数据驱动,大家现在看到数据实时计算平台非常火热,本质上是前台的业务需要数据实时反馈来驱动它。

也就是说,大量的数据工程本身就应该是和业务的应用,用一套方法论体系,一套软件工程体系去构建。

这样才能让一个公司的软件开发人员能够更快速的去交付相应的软件价值,不然一个公司里面会越来越臃肿。

从这个角度来讲我们去认认真真把软件工程去看了一遍,创新要容忍混乱,混乱来自什么?

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读