如何创建数据架构以推动创新

昔日的数据架构已经无法满足当今对速度、灵活性和创新的需求。成功升级的关键(也是巨大的潜在回报)是敏捷性。

在过去的几年中，组织不得不迅速在原有基础设施的基础上部署各种新的数据技术，从而推动由市场驱动的各种创新，例如定制化的报价、实时警报和预测性维护。

但是，数据湖、客户分析平台、流处理等技术的加入极大地增加了数据架构的复杂性，这些技术往往严重妨碍了组织提供新功能，维护现有基础设施以及持续确保人工智能模型的完整性。

当前的市场动态不容放缓。亚马逊和谷歌等先进的公司一直在利用人工智能技术创新来颠覆传统的商业模式，而这就要求落后者重新构想自身业务的各个方面以跟上发展的步伐。云提供商已经推出了最前沿的产品(例如可以立即部署的无服务器数据平台)，这些产品使采用者享有更快的上市时间并且具备更高的敏捷性。Analytics(分析)用户要求使用更多兼容性强的工具(如自动模型部署平台)，以便他们可以更快地使用新模型。许多组织已经采用了应用程序编程接口(API)，使来自不同系统的数据能够接触到数据湖并迅速将洞察直接集成到前端的应用程序中。如今，随着各大公司纷纷开始研究由冠状病毒(COVID-19)大流行所引起的前所未有的人道主义危机并为下一次正常运转做准备，它们对灵活性和速度的需求只会增加而不会减少。

对于要加强竞争优势(甚至是保持同等优势)的公司，它们必须以一种新的方法来定义、实施和集成数据栈，同时利用云(除了基础架构即服务)以及各种新的概念和组件。

打造颠覆性数据架构的六个转变

我们发现，各大公司正在对其数据体系结构蓝图做出六项根本性的转变，这些转变可以更快地交付新功能并大大简化现有的体系结构方法。这些转变几乎涉及所有的数据活动，包括采集、处理、存储、分析和公开。尽管组织可以在实施一些转变的同时使其核心技术栈不受任何影响，但许多组织仍需要对现有数据平台和基础设施进行仔细的架构调整，包括以前使用的各种遗留技术和比较新的技术。

这样的工作并非微不足道。为创建基本用例(例如自动报告)的功能而进行的投资往往高达数千万美元，而用于部署优秀功能的体系结构组件(例如为了与最具创新力的颠覆者竞争的各种实时服务)的投资则可能高达数亿美元。因此，对于组织而言，制定清晰的战略计划至关重要，数据和技术领导者必须做出大胆的选择，以优先考虑那些将直接影响业务目标的转变，并投资于复杂度适中的体系结构。因此，各大公司之间的数据架构蓝图往往看起来截然不同。

如果投资得当，投资回报将非常丰厚(有一家美国****每年可赚取5亿多美元，一家石油和天然气公司则实现了12%至15%的利润率增长)。我们发现，这类收益来自方方面面：节省IT成本、提高生产率、降低法规和运营风险以及提供全新的功能，新服务乃至整个业务。

那么，组织需要考虑哪些关键变革?

1. 从本地数据平台到基于云的数据平台

云可能是一种全新的数据架构方法的很具颠覆性的推动力，因为它为公司提供了一种快速扩展人工智能工具和功能以获取竞争优势的方法。亚马逊(Amazon Web Services)、谷歌(Google Cloud Platform)和微软(Microsoft Azure)等主要云提供商已经彻底改变了各大组织大规模采购，部署和运行数据基础设施、平台和应用程序的方式。

例如，有一家公用事业服务公司将基于云的数据平台与容器技术相结合，该技术用微服务(例如搜索账单数据或向帐户添加各种新属性)将应用程序功能模块化。这使公司能够在几天(而不是几个月)的时间内向大约100000个业务客户部署新的自助式服务功能，为最终用户提供大量的实时库存和交易数据以进行分析并通过在云中(而不是在更昂贵的本地旧系统上)“缓冲”交易来降低成本。

管用的概念和组件

无服务器数据平台(如Amazon S3和Google BigQuery)使组织可以无限地创建和运行以数据为主的各种应用程序，而无需安装和配置解决方案或管理工作负载。此类产品可以降低专业门槛，将部署时间从数周缩短至几分钟，而且几乎没有产生任何运营开销。 由于使用了Kubernetes的容器化数据解决方案(可通过云提供商以及开放源代码获得，并且可以快速集成和部署)，公司能够脱离其他计算能力和数据存储系统的部署并将这项工作自动化。此功能可以确保设置高度复杂的数据平台(例如，将数据从一个应用程序会话保留到另一个应用程序会话所需的数据平台，以及具有复杂备份和恢复要求的数据平台)可以扩展以满足需求，因此它特别有用。

2. 从批处理到实时数据处理

实时数据通信和流媒体功能的成本已大大降低，这为其主流使用铺平了道路。这些技术实现了一系列新的业务应用：例如，运输公司可以在出租车到达时向客户提供精确到秒的抵达时间预测;保险公司可以分析来自智能设备的实时行为数据，从而将费率客制化;而且制造商可以根据实时的传感器数据来预测基础设施方面的各种问题。

订阅机制等实时流媒体功能使数据消费者(包括数据集市和数据驱动的员工)可以订阅各种“主题”，以便他们可以获取所需交易的持续更新。通用数据湖通常充当此类服务的“大脑”，它保留了所有细粒度的事务。

管用的概念和组件

Apache Kafka之类的消息通信平台提供了完全可扩展，持久且具备容错能力的发布/订阅服务，该服务每秒可以处理和存储数百万条消息，以供立即使用或以后使用。与传统的企业通信队列相比，这可以支持实时用例，绕过现有的基于批处理的解决方案并且占用的空间更少(占用的成本基础也更少)。 流处理和分析解决方案(例如Apache Kafka流、Apache Flume、Apache Storm和Apache Spark流)实现了实时对消息进行直接的分析。该分析可以基于规则，也可以包括高级分析，从而在数据中提取事件或信号。分析往往会整合众多历史数据以比较各种模式，这在推荐和预测引擎中尤其重要。 Graphite或Splunk之类的警报平台可以向用户触发各种业务操作，例如，如果销售代表没有达到每天的销售目标，那么他们就会得到通知，或者将这些操作集成到可能运行于ERP或CRM的现有流程中。

3. 从预集成的商业解决方案到模块化的同类最佳平台

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!