耗时两个月，国内传统企业对Hadoop到底什么态度？

年初，笔者开始调研Hadoop在国内企业的应用现状，在前期的互联网企业应用现状调研中，笔者发现目前比较知名的互联网企业基本都在使用Hadoop，其生态组件，比如HDFS、Zookeeper、MapReduce等出现频率极高(完整调研可在文末获取链接)。但是，Hadoop在国外却接连遇冷，前有Gartner报告对Hadoop发行版的看衰论断，后有加拿大皇家银行和美国富国银行对Hadoop应用的不看好，到底国内传统企业对Hadoop持什么态度?是否与国内的互联网企业一致呢?Hadoop生态中哪些组件获一致好评?哪些组件被群嘲?

本次调研共耗时两个月(具体话题详见文末链接)，共吸引17865人次点击(截至发文时)，众多用户围绕Hadoop生存现状主要讨论了以下三大问题：

1. 您对Gartner的报告结论如何看待?就国内现状而言，Hadoop在传统企业的受欢迎程度会和互联网企业相同吗?
2. 您认为Hadoop生态最大的优势和劣势分别是什么?Spark生态也在渐渐完善，其机器学习方面的能力更强，未来与Hadoop生态的关系会是什么样的?
3. 您认为Hadoop生态中表现最好、生命力最旺盛的组件有哪些?为什么?最容易被替换、表现欠佳的组件又有哪些呢?为什么?

(注：为了防止因行业不同而对事情的理解造成偏差，每位答题者被要求给出所属行业，以供用户结合行业属性参考)

一、国内传统行业对Hadoop态度如何?是否与互联网企业一致?

Itpub网友jieforest(制造业)： Gartner的调查报告一向有比较高的可信度和权威性，但是Gartner报告未必明确指出Hadoop将在什么时间淘汰。我虽然未读Gartner报告，但我估计其报告应该是讲述当前大数据平台的技术发展趋势。从趋势上看，Hadoop在未来可能会被更好的技术所取代，未来会面临淘汰的风险。

结合今年福布斯大数据市场预测，到2022年，Hadoop市场预计将达到99.31亿美元，复合年增长率为42.1%。从福布斯的数据来看，Hadoop还将兴旺好些年。Hadoop解决方案这些年在国内经过了各公司的检验，大家逐步认识到它是一个成熟靠谱的解决方案，确实能解决企业大数据过程面临的问题，但Hadoop也并非包治百病，有些需求很容易搞定，而有些则很难搞定或者需要另谋别的解决方案。

传统企业往往喜欢采用比较成熟的解决方案，因此Hadoop还将在国内有比较长的生命周期。就像Java语言，现在已经是第10版了，但很多传统企业仍然坚持使用Java SE 6.0。

Itpub网友ceo_lxy(传统制造行业)： 在传统制造行业，Hadoop大数据方案感觉实用不强，不是很受欢迎，原因有以下三点：一是传统制造行业没有这么大的数据量，都是内部运营数据及少量供应商和客户数据;二是Hadoop技术更新快且成本较高，制造业利润普遍不高的前提下，Hadoop技术短期带来不了直接回报;三是传统制造行业更青睐成熟的技术方案，而不仅仅是开源。

Itpub网友luckyrandom： 各自面对和专注的领域不同，开发设计也有不同的立场、角度，Hadoop是个更通用的框架和平台。就好像即使MySQL如此流行，但Oracle和SQL Server还是有自己的市场，真正适合用户需求的产品才是好产品，这个产品会包括产品本身质量、发展势头、生态链等。传统企业的量级难以达到“大数据”的级别，除了极少数之外，互联网企业才是Hadoop应用主角。

Itpub网友13572******(金融行业)： 大数据杀熟的新闻曝光后，传统企业对大数据的信任度有所下降，大数据的缺点一下子就暴露了出来，只有加强大数据在制造业、农业等领域的应用监管，才可以避免此类投机取巧事件的发生。

Itpub网友aloki(服务业)： 我认为Gartner报告有点危言耸听，Hadoop即使在使用过程存在问题，但并不是没办法解决。就国内现状而言，Hadoop在传统企业的受欢迎程度与互联网企业相同，几乎覆盖全行业。

Itpub网友help01(信息服务)： Gartner的报告应该还是可信的。在国内，Hadoop应用主要以互联网公司为主，由此可以推断Hadoop在互联网企业比在传统企业更受欢迎。

Itpub网友renxiao2003(传统医疗制造)： 上世纪70年代发明的C语言，好多机构和“专家”都曾断言C语言会死，但直到今天C语言依旧是一个流行和不可或缺的开发语言。所以我们不能盲目的去相信报告，要客观的分析和处理。至于Hadoop在传统企业的受欢迎程度和互联网企业肯定是不同的。

二、Hadoop生态目前最大的优势和劣势是什么?未来与Spark的关系更倾向于哪一种方式?

Itpub网友aloki(服务业)： Hadoop的优势是可扩展性和容错性，支持从GB到PB级别多种业务需求，支持PB级别海量数据批处理需求;劣势是使用门槛略高，技术迭代快导致学习成本和运维成本升高。Spark大部分情况下与Hadoop配合出现，Spark作为通用计算引擎，而Hadoop提供存储和资源管理框架等服务。

Itpub网友jieforest (制造业) ： Hadoop和Apache Spark都是大数据框架，但它们的实现目标有所不同。Hadoop本质上是一个分布式数据基础架构，在大量商品服务器的多个节点上分发海量数据集合，这意味着用户不需要购买和维护昂贵的定制硬件，它还对这些数据进行索引和跟踪，使大数据处理和分析能够比以前更有效。

Spark没有自己的文件管理系统，Spark可以看成是一种数据处理工具，可以对这些分布式数据集进行操作，但其自身不会做分布式存储。Hadoop不仅包含一个称为Hadoop分布式文件系统的存储组件(HDFS)，还包含一个名为MapReduce的处理组件，因此不需要Spark即可完成大数据处理。

Itpub网友help01(信息服务)： Hadoop的优势有以下几方面，高可靠性：按位存储和处理数据的能力值得信赖;高扩展性：在可用的计算机集簇间分配数据并完成计算任务，这些集簇可以方便地扩展到数以千计的节点;高效性：Hadoop能够在节点之间动态移动数据，并保证各个节点的动态平衡，因此处理速度非常快;高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

劣势：

• 不适合低延迟数据访问;
• 无法高效存储大量小文件;
• 不支持多用户写入及任意修改文件。

Spark目前在国内的大型互联网公司中也得到了积极推广，百度、阿里巴巴、奇虎360、腾讯以及中国移动等都有使用，预计Spark未来会融合到Hadoop生态当中。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!