辨析BI、数据仓库、数据湖和数据中台内涵及差异点

目前，Hadoop 是最常用的部署数据湖的技术，所以很多人会觉得数据湖就是 Hadoop 集群。数据湖是一个概念，而 Hadoop 是用于实现这个概念的技术。

数据湖的处理架构

数据湖示意图

2. 2 数据湖能给企业带来多种能力

数据湖能给企业带来多种能力，例如，能实现数据的集中式管理，在此之上，企业能挖掘出很多之前所不具备的能力。另外，数据湖结合先进的数据科学与机器学习技术，能帮助企业构建更多优化后的运营模型，也能为企业提供其他能力，如预测分析、推荐模型等，这些模型能刺激企业能力的后续增长。数据湖能从以下方面帮助到企业：

• 实现数据治理（data governance）。
• 通过应用机器学习与人工智能技术实现商业智能。
• 预测分析，如领域特定的推荐引擎。
• 信息追踪与一致性保障。
• 根据对历史的分析生成新的数据维度。
• 有一个集中式的能存储所有企业数据的数据中心，有利于实现一个针对数据传输优化的数据服务。
• 帮助组织或企业做出更多灵活的关于企业增长的决策。

2. 3 数据仓库与数据湖差异

• 在储存方面上，数据湖中数据为非结构化的，所有数据都保持原始形式。存储所有数据，并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取。
• 在将数据加载到数据仓库之前，会对数据进行清理与转换。在数据抓取中数据湖就是捕获半结构化和非结构化数据。而数据仓库则是捕获结构化数据并将其按模式组织。
• 数据湖的目的就是数据湖非常适合深入分析的非结构化数据。数据科学家可能会用具有预测建模和统计分析等功能的高级分析工具。而数据仓库就是数据仓库非常适用于月度报告等操作用途，因为它具有高度结构化。
• 在架构中数据湖通常，在存储数据之后定义架构。使用较少的初始工作并提供更大的灵活性。在数据仓库中存储数据之前定义架构。

表 1. 数据仓库、数据湖和数据湖的区别如下：

三、数据中台

3. 1 产生的背景

企业在过去信息化的历程中形成了大量生产经营及专业业务应用成果，同时也累积了大量的企业数据资产。限于传统的数据仓库技术手段，数据管理和分析能力成为信息化工作中的短板。企业信息系统众多，系统管理独立，数据存储分散，横向的数据共享和分析应用仅由具体业务驱动，难以对全局数据开展价值挖掘，从规模上和效果上都无法真正体现集团庞大数据资产的价值。市场竞争和产业链日益全球化，企业不只满足于内部数据的分析，更要通过互联网、微信、APP 等新技术手段结合外部市场数据进行整体分析。

（1）传统的数据仓库不能满足数据分析需求。

企业在数据分析应用方面呈现“五大转变”（从统计分析向预测分析转变、从单领域分析向跨领域转变、从被动分析向主动分析转变、从非实时向实时分析转变、从结构化数据向多元化转变），并且对统一的数据中台平台诉求强烈，对数据中台的运算能力、核心算法、及数据全面性提出了更高的要求。

（2）数据中台的处理架构发生了变化。

一是以 Hadoop、Spark 等分布式技术和组件为核心的“计算&存储混搭”的数据处理架构，能够支持批量和实时的数据加载以及灵活的业务需求。二是数据的预处理流程正在从传统的 ETL 结构向 ELT 转变。传统的数据仓库集成处理架构是 ETL 结构，这是构建数据仓库的重要一环，即用户从数据源抽取出所需的数据，经过数据清洗，将数据加载到数据仓库中去。而大数据背景下的架构体系是 ELT 结构，其根据上层的应用需求，随时从数据中台中抽取想要的原始数据进行建模分析。

3. 2 数据中台建设是数字化转型的关键支撑

数据中台成为热点，“中台”这个概念，是相对于前台和后台而生，是前台和后台的链接点，将业务共同的工具和技术予以沉淀。数据中台是指数据采集交换、共享融合、组织处理、建模分析、管理治理和服务应用于一体的综合性数据能力平台，在大数据生态中处于承上启下的功能，提供面向数据应用支撑的底座能力。

广义上来给数据中台一个企业级的定义：“聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念”。

数据中台建设是数字化转型的关键支撑

中台战略核心是数据服务的共享。中台战略并不是搭建一个数据平台，但是中台的大部分服务都是围绕数据而生，数据中台是围绕向上层应用提供数据服务构建的，中台战略让数据在数据平台和业务系统之间形成了一个良性的闭环，也就是实现应用与数据之间解藕，并实现紧密交互。

• 敏捷前台：一线作战单元，强调敏捷交互及稳定交付的组织能力建设。
• 业务中台：能力固化与赋能，固化通用能力，赋能前线部队，提升配置效率，加快前线响应，产品化业务化，开辟全新生态。
• 数据中台：资产整合与共享，整合多维数据，统一资产管理，连通数据孤岛，共享数据资源，深入挖掘数据，盘活资产价值。
• 稳定后台：以共享中心建设为核心，为前中台提供专业的内部服务支撑。

3. 3 数据中台定义及处理架构

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!