数据智能是大数据的未来

近日，两家大数据领域的代表性企业Cloudera和Hortonworks宣布了它们相对平等的合并，宣称新公司将创建世界领先的下一代数据平台并提供业界首个企业数据云，这令很多人感到意外，大数据的未来何去何从，一时成为大数据产业从业人员关心的话题。

大数据蹒跚前行，迈进下半场

随着2012年维克托·迈尔-舍恩伯格《大数据时代》一书的出版，“大数据”这一概念乘着互联网的浪潮在各行各业中扮演了举足轻重的角色，得大数据者得天下，业界纷纷用大数据这个词来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

2013年被称为中国的“大数据元年”，大数据开始在我国流行，以势不可挡的姿态进入人们的思想意识，并在社会的各个领域探索与落地实践。涂子沛的《大数据》一时成为畅销读物，大数据的概念风行大江南北，阿里巴巴成为最早提出通过数据进行企业数据化运营的企业。2015年，我国政府通过了《关于促进大数据发展的行动纲要》，大数据更是上升为国家战略。

同美国市场一样，以Hadoop为代表的大数据技术，在中国的大数据产业中也经历了一段狂热期，在很长一段时期内，Hadoop几乎成了大数据的代名词。在这个数据大爆炸的时代，企业需要对海量数据存储、快速处理和分析，Hadoop正是为此而生。但目前看来，这股浪潮正渐渐退去，Hadoop正在逐渐变成一项传统技术。

从诞生到现在，Hadoop已经走过十多年的历史，但近年来，以Hadoop为代表的大数据产业生态，在实际落地中却面临着尴尬的局面。首先，大数据的价值被夸大，在投入产出比上差强人意。其次，中小企业对大数据的应用极为有限。目前看来，需求主要来源于一些大型企业，数据量过大，数据分析需求旺盛，但中小企业自身数据量并不大，需求度较低，同时也缺少相应的大数据技术人才。最后，大数据管理难度大，数据开放共享、数据质量、数据安全、个人隐私信息保护等已经成为管理大数据最头疼的问题。今年5月，欧盟数据保护法规《通用数据保护条例》发布，对大数据企业采集的个人隐私数据管理工作产生极大的挑战。

2018年10月底，IBM宣布以高达340亿美元的价格收购RedHat，IBM宣称其将成为全球的头号混合云提供商，而亚马逊、微软、阿里巴巴等云计算巨头早已将计算、存储、网络资源和应用软件（大多来自开源社区）作为在线云服务来提供，Anaconda产品和营销高级副总裁MathewLodge指出，大数据的中心已经从Hadoop转移到了云端，在云环境下的对象存储系统（如亚马逊 S3、微软Azure BlobStorage和Google Cloud Storage）中存储数据比在HDFS中便宜了5倍。

尽管现在就谈Hadoop已死为时尚早，但大数据产业面临的以上问题已经累积很久，也没有被很好地解决，能否解决以上问题将直接关乎大数据的未来发展。

人工智能方兴未艾，取得新突破

人工智能（AI）是研究用于模拟与延伸扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，目前在商业和生活中已有大量应用场景，被产业界寄望为下一轮技术革命，对它的关注热度已经超过大数据。

AI的发展历程一波三折，呈螺旋式发展，在历史上共经历三个时期。首先是1956年达特茅斯会议提出了AI的概念，但当时的计算机处理性能和数据容量制约了AI技术的发展。然后在20世纪80年代，专家系统兴起，AI算法模型有了重大发明，包括多层神经网络和BP反向传播算法的提出，出现了能与人类下象棋的高度智能机器，但随着台式机的出现，使得AI专家系统走向没落。再往后就是2006年，Hinton论文开启了深度学习时代，特别是2016年，AIphaGo大败李世石，，将AI从后台推到了科技界的聚光灯下，一时间万众瞩目。

AI已经替代了早些年的大数据，成为新的商业科技风口。2017年全球AI融资超150亿美元，谷歌、亚马逊、苹果、微软以及阿里、百度、腾讯等中美科技巨头纷纷布局。以深度学习为代表的AI算法，PC/移动互联网上海量、多维度、高价值大数据，以及以GPU、FPGA、ASIC为代表的AI计算芯片，成为本轮AI发展的核心驱动力。

AI技术体系一般分为基础层、技术层和应用层，在AI大发展的浪潮中，AI技术体系中的各模块发展特点各不相同。

基础层对应着算法（包括回归、分类、聚类、深度学习算法等）、算力（即AI芯片）和软件框架（实现对AI算法的封装）。

算法部分，深度学习带动了本轮AI的大跃进，深度学习已经在语音识别、图像识别等领域取得突破，而海量的数据和高效的算力支撑是深度学习算法实现的基础，同时还有很多新的算法理论成果正在被提出和应用，如强化学习、迁移学习、胶囊网络、生成对抗网络等。

算力部分，由各种AI芯片来提供基础计算能力。AI芯片除了传统的CPU及 GPU外，还包括为特定场景应用而定制的计算芯片。深度学习既要求计算芯片支持对存储介质中海量数据的高效存取，还要能支持一些特定AI计算需求，因此GPU成为目前深度学习算法应用中的首要选择。FPGA（现场可编程门阵列）可以实现应用场景的高度定制，属于一种半定制化芯片。ASIC（专用集成电路）是不可配置的高度定制专用计算芯片，其性能也是最优的。TPU（张量处理单元）是谷歌公司设计的处理器，非常适合运行TensorFlow软件，还有寒武纪的NPU，都是ASIC的典型代表。另外，还涌现出各类定制化的高性能AI计算服务器，或称之为GPU一体机，一站式提供AI所需的算力。

软件框架部分，目前AI软件框架百花齐放，软件框架是整个技术体系的核心，实现对AI算法的封装、数据的调用以及计算资源的调度使用。软件框架好比是AI应用开发的操作系统，为开发者提供编程环境和算法库，并按需分配AI芯片等硬件资源，目的是构建AI系统开发和运行的软件环境。目前主流的AI软件框架主要有TensorFlow、MXNet、Caffe、Torch、CNTK、Theano、SciKit-Learn等，软件框架的用户包括了AI服务的开发者和使用者。

技术层负责解决具体类别的AI技术问题。其中语音识别技术负责将语音转换为文本或命令，自然语言处理技术实现人和机器之间的自然语言通信，计算机视觉技术用于处理图形图像和视频内容的识别。

应用层立足于解决各行业领域实际场景问题，如安防场景下，用于警讯发现、人脸识别、道路监控等；金融场景下，可用于资产异动监测、征信风控和智能投顾等；医疗场景下，可应用于对医学影像、电子病例处理来辅助诊疗；还有目前最为火热的自动驾驶场景，谷歌、特斯拉和百度三巨头的无人驾驶汽车已经上路试运行。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!