大数据分析 ：利用向外扩展技术深入挖掘商业价值

导语：大数据分析技术的价值在企业领域已经非常明确。充分利用良好信息的能力一直是摆在IT部门面前的重要难题与挑战。现在我们已经拥有了足以解决这一难题的工具，接下来要做的就是想办法使其为自己服务了。

方方面面的发展改进已经让从半结构化数据中获取有价值信息成为可能。以Hadoop为代表的新型解决方案在构建层面就充分考虑到了要如何适应跨商用服务器集群的分布式运行环境。

大数据：以需求为导向的审视角度

新型分析工具与极大丰富的处理能力为我们敞开了一道大门，如今企业已经能够借此对庞大的业务及外部数据加以审视并获取有价值结论。

从数据池当中挖掘有价值信息，从而实现知识提升的能力早已不算什么新鲜事。事实上，早在一个多世纪以前，这样的处理方式就已经成为科学与商务领域的支柱性机制——其诞生时间甚至远早于计算机、数据库以及其它主流技术成果。

举例来说，来自伦敦的医师John Snow曾在1854年记录下霍乱疫情在伦敦苏活区的具体病例爆发位置。他根据这些数据所绘制的疫情分布图帮助医护人员建立起霍乱与水源之间的病理性联系，并确定宽待的一处公共水泵正是此次疾病的源头。政府方面立即依数据指引采取了行动，从拆除该水泵开始一步步控制住了疾病的继续蔓延。

Snow在十九世纪的研究成果可能被普遍视为“小数据”分析的胜利。当然，时至今日，万众瞩目的焦点其实是“大数据”，这一新兴词汇指的是两类数量庞大的数据集合——其一为由传统数据库负责打理的结构化数据，其二则是以日志文件、位置数据、社交媒体内容以及富媒体信息为代表的半结构化数据。

Gartner公司对大数据进行了更为准确的规范性定义，大家可以将其概括为“3V”概念，即：“高容量（volume）、高速率（velocity）以及/或者多类别（variety）信息，需要通过新型处理机制才能借此对决策制定、结论发现以及处理优化起到辅助作用。”在这里，“速率”指的是数据会以极高节奏进行内容更新，而“类别”则代表大数据会显示出多种格式及结构层级。

大数据时代的救世主：向外扩展计算

最终，大数据已经成为IT部门不可忽视的一类沉重负担——其数据存储规模开始成倍扩大。如果不解决这一首要难题，企业根本无法从中提取到具备指导意义的实际价值。

大约十年之前，对如此规模的庞大数量集合、特别是半结构化数据进行分析处理简直可以说是痴人说梦——即使是财力最为雄厚的企业也无从下手。能够保存、整理并分析这类数据的工具根本不存在; 换言之，即使真实存在，其高昂的购买、部署与维护成本也会令企业望而却步。

不过时至今日，方方面面的发展改进已经让从半结构化数据中获取有价值信息成为可能。以Hadoop为代表的新型解决方案在构建层面就充分考虑到了要如何适应跨商用服务器集群的分布式运行环境。包括MongoDB、Cassandra、Couchbase、Neo4j在内的多种开源NoSQL数据库带来了类似于规模经济的扩展机制：要添加更多计算与存储容量，用户只需在整套架构当中纳入新的商用服务器即可——该架构能够在面临个别节点故障的情况下保证数据不致丢失。

大数据解决方案既能够运行在内部环境当中，又可以栖身在公有云平台之上——后者也正是众多大数据解决方案的主要指向目标。像Amazon EC2（全称为弹性计算云，即Elastic Compute Cloud）这样的商业云能够根据实际需求提供成千上万颗处理器计算核心以及几乎不设上限的数据存储容量。目前，只需一套网络浏览器、一根网线外加一张个人信用卡，每位用户都能以每小时1.70美元的实惠价格享受到具备32个虚拟CPU、60GB内存以及600GB存储容量的云基础设施服务。

向外扩展计算允许数据科学家们通过分而治之的方式处理大数据计算难题，这种分布式处理几乎能够在瞬间从庞大的数据集中返回对应结果。与此同时，先进的分析与数据可视化技术则让庞大而复杂的数据集变得易于理解，足以供不同领域的专家据此探寻更深层次的趋势与规律。

大数据技术的市场规模近年来呈现出陡峭的上升曲线。根据IDC公布的2014预测报告显示，大数据技术与服务市场将保持26%的年复合增长率、并于2018年达到415亿美元的整体估值——这一速度基本相当于信息技术整体市场增幅的六倍。A.T.Kearney公司则预计，全球市场在大数据硬件、软件以及服务领域所投入的开销截至2018年将始终保持30%的年复合增长率。而到2018年，大数据服务与技术的整体市场规模将达到1140亿美元。根据Wikkbon的统计，2014年大数据市场总体价值为285亿美元，而这一数字在2015年将增长至501亿美元。

商业案例：老数据中蕴藏新机遇

大数据给企业业务带来的助益可以说显而易见。一方面，企业能够从数据中获取到原本只能经由应用程序服务器或者（时间更久远的）备份磁带乃至文件柜提供的重要信息。最直观的例子就是网站点击流数据、系统事件日志以及其它一些重要记录。这些数据随后即可被全新的垂直应用程序体系所使用。

配合适当的数据可视化工具之后，大数据就能够帮助各个领域的专业人士与有价值信息建立起更为直观的联系，并从中获取到分析师们有可能忽略的重要模式。

不夸张地说，大数据所蕴藏的力量将只受到我们想象力的约束。下面举几个实例：

? 零售商已经开始应用这项新技术

举例来说，苹果的iBeacon会对客户的活动轨迹进行追踪，而且追踪对象并非哪些客户进入了直营店、而是这些客户在经过店内各检测位置时正在做什么。其中包括他们在哪些产品或者演示内容前驻足，具体驻足时间有多长等等。将这些数据整理起来，再结合他们最终所购买的产品，苹果就能发现如何更加有效地对直营店组织以及产品的标注与销售作出改革。

? 快捷脚本

快捷脚本每年能够帮助医生开具14亿份处方。它会利用来自医生办公室、药店、医院以及实验室的数据分析结果来诊断哪些病患有可能拒绝服药或者不同药品之间可能产生的副作用。

? 航班信息收集

在2013年进行的一次试点活动中，通用电气公司对来自25条不同航线的15000次航班进行了完整的飞行信息收集，每次飞行产生的各项指标数据高达14GB。通用电气最终将这些TB级别的飞行数据集整理起来，从而实现高达十倍的成本节约效果。到2015年，通用电气计划每年对100万次航班进行监控，其完整飞行操作数据总量将达到1500TB。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!