加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 电商 > 正文

大神教你玩转 SSD 系列三:数据处理

发布时间:2021-01-14 20:42:34 所属栏目:电商 来源:网络整理
导读:《大神教你玩转 SSD 系列三:数据处理》要点: 本文介绍了大神教你玩转 SSD 系列三:数据处理,希望对您有用。如果有疑问,可以联系我们。 如何评估固态存储设备的性能,并根据业务需求挑选出合适的SSD产品?在之前两篇文中,介绍了 SSD 基准测试应该关注哪些指

同时可以看到 Micron的磁盘延迟上下浮动范围稍宽,iops也有类似的表现,对于SanDisk,则几乎是一条直线,也可以看出SanDisk的性能几乎保持在同一个水平,对请求的处理及时,到位.但Micron的这一点点波动,不会对服务产生可以感知的影响,只是经过作图,直观的感受.但如果测试结果发现,波动范围非常大,那就要小心了.它可能是线上服务质量的杀手.

服务质量的好与坏,主要看延迟有多高,如果最长的延迟非常高,那平均时间也好不到哪去,而且通常最大延迟高的盘,延迟超过容忍程度(比如 200 ms)的几率也相对更高,直观表现就是“一卡一卡的”.

取某个时间段内的最大值,如果绝大多数时间这个最大值接近理想的平均值,并且整个测试阶段的最长时间在可以接受的范围内,出现的频率也不是很高,那么势必平均延迟也不高,可以判定整体服务质量还不错.

其实随机读取对于各种SSD来说其实是小儿科.因为没有什么成本,主控不忙,闪存不忙.确切的说,跟写入比起来,轻松许多,极少 wear leveling,极少 GC,极少擦除

于是此处应有写入测试(其实是混合读写测试,读3写7).

random wr latenct SanDisk

random wr latenct Micron

大神教你玩转 SSD 系列三:数据处理

random wr iops SanDisk

random wr iops Micron

于是看起来就比较费劲了.

SanDisk的磁盘之前在线上机器服役过几个月,Micron的是新盘.

可以看到SanDisk的测试结果离散度比较大,跟美光的“一条直线”比起来,一点都不养眼.但并不意味着磁盘性能不好.虽然延迟范围比较大,但最大延迟控制在了 2ms 以内,跟美光的盘差不多,并且可以看到不同QD下,延迟也有上限,iops没有出现零点,而对于2ms QD32 的延迟来说,业务无感知.

美光的几乎是新盘(但在测试过程中也早就达到了稳定态)表现相对养眼一点,但并不抢眼,因为对比可以看出,美光的盘平均写入延迟都比同QD下SanDisk的要高,而且写入吞吐量要比 SanDisk的略低一点(SanDisk 12K 左右,Micron大约10K),原因,同样是TLC和 MLC的差别,同时,SanDisk有200多G的 OP,而美光,只有40多G,美光说:这还是有些许的不公平啊.

测试之后

由于盘都是在进入稳定态之后的测试结果,所以喜闻乐见的磁盘性能下降都没能在图上反映出来,如果是全新的盘,可以明显看到iops分层的现象,比如之前美光M4的结果:

而且图中还能看到iops的零点,同时最高延迟也飙到了 600ms,像这种服务质量,是无法保证线上服务质量的.当然,这也只是一块消费级的盘.

在完成了对两张磁盘的“虐待”之后,其实还有一点需要关心的,就是磁盘的写入放大.

写入放大一词,最早由Intel提出,随着 NAND 颗粒容量的增大,page 也从 4k 变成 8k,16k,32k……,而且NAND擦除时,并不能直接擦除一个 page,加上磨损平衡策略,造成了实际写入 NAND 的数据量大于 主机写入的数据量.这种写入放大在 4k 随机写入测试时尤为明显.线上的 RDBMS 应用,KV 存储记录,分布式 block / object 存储,更多的用到了随机写入.因而能减小写入放大,就能在某种程度上延长SSD的使用寿命.

可能有些公司已经开始采用 PCI-E卡甚至 NVMe SSD用于线上业务,当然这是极好的,NVMe为SSD而生,硬件性能需要满足业务需求,但至少,SSD作为通用存储,要满足以下一个要求,才能保证一般线上业务(比如RDBMS)的稳定.

  • 测试过程中读取 写入不能出现零点.
  • 读取写入延迟在可以预见的范围内(一般高压不能超过5ms).
  • 不能依靠 Trim 来维持SSD 的性能.

?潜在的坑

4k 无文件系统测试能否代表真实的磁盘性能

有些盘拿到手之后,跑上几十个小时的4k qd32 write,效果相当不错,iops,带宽,延迟都在比较理想的范围之内,但是否能代表有文件系统时磁盘的性能?通常认为,差别不大.可能有文件系统的时候会稍稍慢一点.但网上有一哥们确实遇到了很诡异的事情 (http://www.vojcik.net/samsung-ssd-840-pro-performance-degradation/).

某品牌的磁盘在特定固件版本下,特定文件系统表现非常不稳定.如果没有做过全面测试,这种事情出现在线上,是非常崩溃的,并且,排查问题几乎完全找不到头绪.

trim,raid卡造成的性能波动

虽然本次测试覆盖了一款 raid 卡,但实际生产环境中每一批的固件,缓存策略等均可能对性能和稳定性产生影响,因而有必要做兼容性测试

高压环境下的稳定性、极端环境、掉电,上电测试

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读