数据编织，大数据之新风口？
发布时间：2022-03-04 09:45:55 所属栏目：大数据 来源：互联网
导读：2022年初再回顾2021年的时候，发现数据技术界有个名词非常的火热-[data fabric]，这不是在中国，而是在国外，国内呢，数据中台火的一塌糊涂。到处都在谈数据中台，面试的时候，制定计划会议的时候，搞数据战略的时候，圆桌论坛上，到处都在谈。今天本文就不
|
2022年初再回顾2021年的时候，发现数据技术界有个名词非常的火热-[data fabric]，这不是在中国，而是在国外，国内呢，数据中台火的一塌糊涂。到处都在谈数据中台，面试的时候，制定计划会议的时候，搞数据战略的时候，圆桌论坛上，到处都在谈。今天本文就不会再说这个话题了，来聊聊data fabric。 今天从以下四个方面来聊一聊: 一.data fabric起源 互联网世界，每隔10年，就会出现一个风口。15年前是数据仓库，5年前的大数据和数据湖，国内几天数据湖才热起来。今天有一个名叫Data Fabric的数据架构浮出水面，开始引发人们的广泛关注。 我们先来看看，当前的数据架构和十多年前有什么不同。在数据仓库时代，企业的数据量还不算大，一般几十个TB, 数据仓库的建设一般采用中心化的方式，将各个应用系统的数据，从各个系统抽取出来，清洗转换后，加载到数据仓库里。由于架构相对简单，各种数据模型比较直观，相关的数据集成的工具软件及元数据管理的重要性并不突出，很多人选择了忽视这一部分。而到了大数据时代，由于非结构化数据的导入，数据量大了，企业拥有上PB的数据如家常便饭一样。但数据架构还是集中式，工具软件及元数据还是没有被广泛地应用，并且还不成熟。 二.到底什么是Data Fabric Forrester是这样说的：“Data Fabric是以一种智能和安全的并且是自服务的方式，动态地协调分布式的数据源，跨数据平台地提供集成和可信赖的数据，支持广泛的不同应用的分析和使用场景”。 Gartner是这样说的：Gartner defines data fabric as a design concept that serves as an integrated layer (fabric) of data and connecting processes. A data fabric utilizes continuous analytics over existing, discoverable and inferenced metadata assets to support the design, deployment and utilization of integrated and reusable data across all environments, including hybrid and multi-cloud platforms. 看到这里，大家有没有发现很难表述清楚，在和别人反复沟通和讨论，有人这样说：“使需要用数据的人，随时能够知道到他要的数据在哪里，数据质量如何，他可以如何方便地获取他需要的数据。 Data Fabric 的主要作用：把正确的数据，在正确的时间，传送给正确的人。通过 Data Fabric , 对的人可以从对的地点，在对的时间，获取对的数据。 三.架构是什么样 data fab架构： Gartner: An ideal, complete data fabric design with its many components. Data Fabric 可以同时给业务和技术团队带来明确的价值。从业务层面来看，由于企业能更容易地获得高质量的数据，从而能更快和更精确地获得企业数据洞察。数据科学家和业务人员能够花更多时间在数据分析上，而不是去寻找和准备数据，可以给数据使用者提供完美的自我服务的数据消费体验。 要实现上述的Data Fabric 的目标，至少需要四个方面的基本能力： 1.能够在数据之间建立虚拟链接，简化数据访问的模式，从而减少数据复制的数量。 2. 需要建立一个企业的数据目录，并需要利用AI技术，自动化地实现基于语义和知识的分析，理解数据及其业务含义，并建立知识图谱， 从而使数据目录变得智能化和自动化。能够让需要数据的用户，随时了解他所需要的数据在哪里、数据质量如何等。 3. 建立自动化的数据平台，并且允许用户通过自服务的方式，访问并获取数据。 4. 通过提供整体的自动化策略，确保数据安全，增加数据的隐私和权限保护，并提高数据的质量。 四.各个厂商的解决方案 Data Fabric 目前是一个IT热点，众多国际著名的 IT公司包括IBM、informatica和 Telend等，均推出了针对 Data Fabric 的解决方案。 Data Fabric 这个概念在国际上已经热起来了，但目前国内的IT用户知道的人还不多。20年前数据仓库在国外兴起后，用了6到8年才传到中国。10年前大数据的概念在国外兴起后，不到三年就被中国用户广泛接受。目前这个 Data Fabric 概念，中国可以用多快的速度接受并加以应用呢？我们拭目以待！ （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
