专家观察 | 林尚泉：“小米结构化存储系统及融合云平台的设计与

其中包括两种类型,一个是RECORD IMAGE,得到的消息是这行数据被修改以后最后的视图,用户拿着这种类型的消息就可以做一些最终一致的增量备份,另外是MUTATE LOG,就是每一行的修改日志,这种类型再结合一个定期打快照的功能,就可以把指定某一个表恢复到历史任意一个时间点.

我们采用了facebook 的Thrift框架,对外屏蔽了一些复杂的配置,由于是使用了Thrift框架,很方便的可以支持多种语言的SDK.

ThriftServer主要对外提供一个无公网的http服务,对外屏蔽了HBase,用户只需要拿到一个域名就可以直接访问,简化了认证和配置,支持了多种语言的SDK,多租户包括访问控制和流量控制.

ACL功能,我们是在HBase那里存了一份元数据表,它的格式是某一个表有哪些ACL信息,并且每一个节点会对元数据做本地缓存,假如有用户发了一个修改ACL的请求,这个ThriftServer不仅要更新元数据表,还要在Zookeeper修改一个节点,因为所有的ThriftServer节点都监听了Zookeeper的那个节点,就会收到一个通知进行更新,通过访问元数据表更新本地缓存.

流量控制,SDS支持用户每一个表进行预设置的读写配额,设置读写配额的时候SDS会检查一下集群的能力,集群的能力是根据我们的一些性能测试得到的,做限流的时候是基于token bucket算法进行限流的,集群能力使用到80%的时候会提醒我们进行集群扩容.还实现了软删除的功能,因为要保证数据安全,

软删除就是用户发一个删表请求,要删除一张表的时候,SDS后台会先对这个表打一个快照,然后再去删除这个表,这个时候会存一堆snapshot文件,在经过TTL 的时间后删除,在删除之前用户可以通过restoretable通过clonesnapshot把表恢复出来.

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!