漫谈阿里大数据

通过淘宝的历史来看，早期的数仓数据基本来源于主业务的OLTP数据库，数据不外乎用户信息(通过注册、认证获取)，商品信息(通过卖家上传获得)，交易数据(通过买卖行为获得)，收藏数据(通过用户的收藏行为获得)。从公司的业务层面来看，关注的也就是这些数据的统计，比如总用户数，活跃用户数，交易笔数、金额(可钻取到类目，省份等)，支付宝笔数、金额等等。因为这个时候没有营销系统，没有广告系统，公司也只关注用户，商品，交易的相关数据，这些数据的统计加工，就是当时淘宝大数据的全部。

但是，随着业务的发展，比如个性化推荐，广告投放系统的出现，会需要更多的数据来做支撑，而数据库的用户数据，除了收藏，购物车是用户行为的体现，但是，用户的其它行为，如浏览数据，搜索行为等，这个时候是完全不知道的。

这里就需要引进另外一个数据来源，日志数据，记录了用户的行为数据，可以通过cookie的技术，只要用户登录过一次，就能跟真实的用户取得关联。比如通过获取用户的浏览行为，购买行为，进而可以给用户推荐他可能感兴趣的商品，看了又看，买了又买就是基于这些最基础的用户行为数据做的推荐算法。这些行为数据还可以用来分析用户的浏览路径，浏览时长，这些数据是用来改进相关淘宝产品的重要依据。

2009年，无线互联网飞速发展，随着基于native技术的App大规模的出现，用传统日志方式获取无线用户行为数据已经不再可能，这个时候也涌现了一批新的无线数据采集分析工具，比如友盟，Talkingdata，淘宝内部的无线数读等等，通过内置的SDK，他们可以统计到native上的用户行为数据。

数据是统计到了，但是，新的问题也诞生了，比如我在PC上的用户行为，怎么对应到无线上的用户行为，这个是脱节的，因为PC是PC上的标准，无线又采用了无线的标准，如果有一个统一的用户库，比如不管是登录名，邮箱，身份证号码，手机号，imei地址，mac地址等等，来唯一标识一个用户，不管是哪里产生的数据，只要是第一次关联上来，后来就能对应上。

这就涉及到了一个重要的话题 -- 数据标准，数据标准不仅仅是解决企业内部数据关联的问题，比如一个好的用户库，可以解决未来大数据关联上的很多问题，假定公安的数据想跟医院的数据进行关联打通，发挥更大的价值。但是，公安标识用户的是身份证，而医院标识用户的数据则是手机号码，有了统一的用户库，就可以通过idmapping技术简单的把双方的数据进行关联。

数据的标准不仅仅是企业内部进行数据关联非常重要，跨组织，跨企业进行数据关联也非常重要，而业界有能力建立类似用户库等数据标准的公司并不多，阿里巴巴就是其中之一。

大数据发展到后期，当然是数据越多越好，企业内部的数据已经不能满足公司的需要，比如还是淘宝，想要对用户进行一个完整的画像分析，比如想获得用户的实时地位位置，爱好，星座，消费水平，开什么样的车等等，用于精准营销。淘宝自身的数据是不够的，这个时候，很多企业就会去购买一些数据(有些企业也会自己去爬取一些信息，这个相对简单一点)，比如阿里购买高德，友盟，又另外采购微博的相关数据，用于用户的标签加工，获得更精准的用户画像。

但是，数据交易并没有这么简单。因为数据交易涉及到几个非常大的问题：

1)是怎么保护用户隐私信息

欧盟已经出台了苛刻的数据保护条例，美国也对出售客户数据的运营商施以重罚，还处在萌芽状态的中国大数据行业，怎么确保用户隐私信息不被泄漏呢?对于一些非隐私信息，比如地理数据，气象数据，地图数据进行开放、交易、分析是非常有价值的，但是一旦涉及到用户的隐私数据，特别是单个人的隐私数据，就会涉及到道德与法律的风险。

数据交易之前的脱敏或许是一种解决办法，但是，并不能完全解决这个问题，因此，阿里也提出了另外一种解决思路，基于平台担保的“可用不可见”技术。比如阿里云作为交易平台，跟支付宝一样是一个中间担保机构，双方的数据上传到阿里云大数据交易平台，双方可以使用对方的数据，以获得特定的结果，比如通过上传一些算法，模型而获得结果，双方都不能看到对方的任何详细数据。

2)是数据的所有者问题

数据作为一种生产资料，跟农业时期的土地，工业时期的资本不一样，使用之后并不会消失，如果作为数据的购买者，这个数据的所有者到底是谁?怎么确保数据的购买者不会再次售卖这些数据?或者购买者加工了这些数据之后，加工之后的数据所有者是谁?

3)是数据使用的合法性问题

大数据营销中，目前用得最多的就是精准营销。数据交易中，最值钱的也是个人数据。我们日常分析中做的客户画像，目的就是给海量客户分群、打标签，然后针对性地开展定向营销和服务。然而如果利用用户的个人信息(比如年龄、性别、职业等)进行营销，必须事先征得用户的同意，才能向用户发送广告信息呢，还是可以直接使用?

所以，数据的交易与关联使用，就必须解决数据标准，立法以及监管的问题，在未来的时间里，不排除有专门的法律，甚至专业的监管机构，如成立数监会来监管数据的交易与使用问题。如果真的到了这一天，那也是好事，数据要流通起来才会发挥更大的价值，如果每个企业都只有自己的数据，就算消除了企业内部的信息孤岛，还有企业外部的信息孤岛。

如果能合理，合适的使用多方数据，就会发生所谓“羊毛出在猪身上”的事情，比如阿里小贷，使用的是B2B以及淘宝的数据。这样情况下，对猪(B2B，淘宝来)说，这是一种商业场景中的海量数据的溢出效应，而对羊(蚂蚁小贷)来说，是在较低的成本下、不同维度的数据集合后，发生化学反应的价值跃升的过程，这是大数据时代智能商业的典型特征。

这才是大数据的价值，正是我们正在迎来的这个新时代以“数据”命名的理由。

阿里大数据发展历程

三、数据技术

大数据技术，个人认为可以分成两个大的层面，大数据平台技术与大数据应用技术。

要使用大数据，你先必须有计算能力，大数据平台技术包括了数据的采集，存储，流转，加工所需要的底层技术，如hadoop生态圈，数加生态圈。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!