加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 云计算 > 正文

UCloud优刻得US3在海量数据归档存储下的成本优化实践,使存储成

发布时间:2021-04-24 23:09:27 所属栏目:云计算 来源:互联网
导读:前言 UCloud优刻得在2020年8月正式发布了基于US3的全新一代归档存储产品,该产品采用UCloud优刻得全新自研存储架构,相较标准存储降低近80%存储成本的同时,与市场同类归档存储产品相比降低近30%的价格。据IDC的预测,全球年新增数据量到2025年将达175ZB,真

为此我们在IO调度层增加基于硬盘Spin-up、 Spin-down的调度算法。用来降低在高密度机型的冷存储场景下大量硬盘空转的电力浪费。

UCloud优刻得US3在海量数据归档存储下的成本优化实践,使存储成

这里整体的调度算法需要考虑的因素很多,我们首先根据故障域把JBOD中的磁盘分成若干个磁盘组,保证在适当的EC条带以及JBOD个数下,能够容忍磁盘以及JBOD层面的故障,之后Spin up-down的操作都基于磁盘组为单位进行操作。

同时我们需要考虑在满足用户紧急读取需求的同时保证硬盘的Spin up-down次数在一定的范围之内,这里我们将硬盘使用寿命内的可操作上下电次数平均到每天每小时,在算法上保证磁盘的每次Spin up-down会有一定的冷却时间,而用户的普通读再通过正常的轮询上电的时间片内进行读取,这样既可以降低用户的使用成本也保证了用户数据在硬盘使用方式层面的可靠性。

除了可靠性上面的考虑,我们也需要保证写入的性能是否能够吃满我们的硬件,由于SMR盘以及业务逻辑的特殊性我们的写入包括之后的Compaction都是大量顺序写入,所以我们配合EC条带的大小保证一个磁盘组的写入数据带宽可以吃满我们整体设备的网卡带宽,这样在性能上就不会有额外的浪费。

写在最后

UCloud优刻得US3在海量数据归档存储下的成本优化实践,使存储成

基于上述提高磁盘存储密度以及降低运营成本(即电费)两个主要方面的设计考虑,UCloud优刻得研发了US3归档存储的底层存储引擎(如上图所示),在大幅降低US3归档存储成本的同时,保障了在归档存储这种长期冷存储下的数据高可靠性。

后续UCloud优刻得US3归档存储会继续从各个方面提升产品的使用体验,例如更加便捷自动的数据降冷处理,更加智能化的降低存储成本,让用户充分享受UCloud优刻得技术创新带来的价格红利。还会探索深度归档场景下磁带等其他存储介质的使用,让UCloud优刻得用户不用与复杂的底层硬件进行直接的交互,就能满足海量冷数据存储的需求。

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读