加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

大数据分布式存储的部署模式:分离式or超融合

发布时间:2018-11-10 04:25:34 所属栏目:大数据 来源:51CTO
导读:数据中心内部系统的核心要求是稳定可靠,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。 大数据分布式存储的部署模式:分离式or超融合 数据中心内部系统的核心要求
副标题[/!--empirenews.page--]

数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。

大数据分布式存储的部署模式:分离式or超融合

数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。

分离式部署的方式,使得系统与云平台系统相独立,避免了计算和存储争抢CPU/内存/网络等物理资源,一旦某一方资源需求骤升导致的另一方资源枯竭,从而影响性能并在整个基础架构中产生的涟漪效应;和在超融合部署方式在集群规模较大后,网络、硬盘、服务器发生故障的概率都会增大;以及数据重删、压缩、加密纠删码等功能、故障的自修复和数据功能实现都会消耗一定的系统资源,导致性能下降和抖动等问题。

fi2uQbR

分离式部署相比超融合方式的优点:

如此观点如果不是出自某厂家或者供应商,也太偏颇了。我觉得简单看两种技术适合不同规模,中小规模(包括平台规模,也包括人力资源规模)下超融合优势明显,大规模分布式存储优势更大。良好的设计,恰当的平衡才是关键,没有一边倒的绝对优势。

建议采用超融合式部署模式。

1、从成本上讲,超融合式每个服务器既可以做计算资源,又可以做存储资源,性价比最高。

2、从性能上讲,分布式存系统,一般只占用服务器资源的10%左右,还有90%的性能可以使用。而且目前X86服务器的CPU性能越来越高,如果闲置不用,比较可惜,利用率太低。

3、从管理上讲,每台X86物理设备都一样,方便横向扩展和管理,每增加一个节点,就同时增加了计算资源和存储资源,有利于管理。目前,百度和阿里的云数据中心基本都是这么做的。

一、 超融合的概念

超融合(Hyper- Converged)目前还没有一个严格的标准定义, 各个厂商和机构都有各自的定义,这也说明超融合仍然处于快速发展演变当中,并未形成统一的标准规范。 超融合中“超”对应英文“Hyper”,特指虚拟化,对应虚拟化计算架构,如 KVM、XEN、Hyper-V 等。这一概念最早源自 Nutanix 等存储 厂商将 Google/Facebook 等互联网厂商采用的计算存储融合架构用于 虚拟化环境,为企业客户提供一种基于 X86 硬件平台的计算存储融 合产品或解决方案。按照这个概念,数据库一体机和大数据一体机都 不能为超融合的范畴,因为RAC/Hadoop等应用并非运行在虚拟机 之上。此外,超融合架构中最根本的变化是存储,由原先的集中共享 式存储(SAN/NAS)转向软件定义存储,特别是分布式存储。

超融合中的“融合”是指计算和存储部署在同一个节点上,同时提供计算和存储能力。融合一般可以分为物理融合和超融合两种,超融 合是融合的一个子集。物理融合系统中,计算和存储仍然可以是两个 独立的组件,没有直接的相互依赖关系,共享主机的物理资源。超融 合与物理融合不同在于,重点以虚拟化计算为中心,计算和存储紧密 相关,存储由控制器虚拟机(Controller VM,CVM)而非物理机来控 制并将分散的存储资源形成统一的存储池,用于创建用户的应用虚拟机。物理融合与超融合对比如所示。出于性能考虑,超融合架构通常 都需要将主机物理设备透传(Pass Through)给控制器虚机 CVM。

超融合架构是基于标准通用的硬件

平台,通过软件定义实现计算、存储、网络融合,实现以虚拟化为中 心的软件定义数据中心的技术架构。要判断一套系统是否采用超融合 架构,主要基于以下几点:

(1) 完全软件定义。独立于硬件,采用商业通用标准硬件平台(如 X86),完全采用软件实现计算、存储、网络等功能。

(2) 完全虚拟化。以虚拟化计算为中心,计算、存储、网络均由 虚拟化引擎统一管理和调度,软件定义存储由虚拟机控制器 CVM 进 行管理。

(3) 完全分布式。横向扩展的分布式系统,计算、存储、网络按 需进行动态扩展,系统不存在单点故障,采用分布式存储。

二、 超融合架构发展情况和案例

未来 5 至 10 年新一代数据中心基础架构朝着软件定义和超融合 方向发展,SAN/NAS 存储逐渐被软件定义的存储所替代。在软件定 义存储(SDS)的推动下,超融合将成为数据中心基础架构的核心, 并且是软件定义数据中心(SDDC)的未来技术发展趋势。基于多种 复杂设备的数据中心最终会归一化成以通用服务器加互连网络的体 系架构。在这些通用服务器上部署关键的软件,通过虚拟化的方式实 现计算、存储资源。然后再在这些虚拟化资源的基础上部署应用,完 成具体功能。

存储、计算和网络的深度融合是未来IT基础设施发展的大趋势, 超融合架构因此成为企业级客户的首选,加速业务系统从传统架构向 云计算架构的转型。IDC 的统计报告显示,2016 年全球超融合市场规 模预计将增长 94%。另一家市场分析公司 Gartner 预计,2019 年全球 超融合市场的规模将超过 1000 亿美元,有大约 30%安装在企业数据 中心内的存储阵列都将是部署在软件定义存储或者基于 x86 硬件系 统的超融合集成系统架构。

2016 年以来,中国超融合市场持续升温,越来越多的超融合团队 逐渐发展起来。根据市场研究和咨询公司 Gartner 在 2016 年 11 月针 对中国超融合市场趋势发布的报告,思科、HP、Dell、EMC、NetApp 等老牌服务器和存储大厂纷纷将技术与产品战略转向超融合的路线 上来。报告指出,中国一跃成为全球超融合基础架构增速最快的市场,

国内的 H3C、华为、Nutanix、联想、SmartX、深信服等厂商迅速跟 进了国际主流超融合解决方案。

目前超融合架构在国内的主要应用案例如下:

政府相关机构:中国检查出版社,中国证监会,中国互联网信息 中心,中国大连市政府,青海水利,广州地税局数据库虚拟化,国家卫计委云数据中心,湖北省公安厅审计平台,厦门公安局警务云平台, 最高法司法统计管理平台,深圳海关业务系统,广东海事局智慧海事 平台,中国(西安)丝绸之路研究院,温州医科大学第一附属医院等。

金融行业:招商银行,中银证券,南京证券,中信银行等。 制造行业:东风本田,宝山钢铁,中铁资源集团有限公司等。 IT 企业:科陆电子,联想集团,中国联通沃云,中国电信等。 教育行业:中国地质大学,中国科技大学,南开大学,北京邮电大学,北京外交学院,陕西省行政学院等。

Vn2miyn

三、 超融合架构的优势

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读