加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 电商 > 正文

专家观察 | 林尚泉:“小米结构化存储系统及融合云平台的设计与

发布时间:2021-01-19 14:51:19 所属栏目:电商 来源:网络整理
导读:《专家观察 | 林尚泉:“小米结构化存储系统及融合云平台的设计与实践”》要点: 本文介绍了专家观察 | 林尚泉:“小米结构化存储系统及融合云平台的设计与实践”,希望对您有用。如果有疑问,可以联系我们。 由工业和信息化部指导,中国信息通信研究院主办,

而数据冷备我们实现了一个工具,是可以把HBase一些snapshot推到AWS S3,需要的时候再拉下来.结构化数据存储系统暂时介绍到这里.

我们来看一下融合云平台.这个是小米融合云平台的控制台的首页,可以看到它除了刚才介绍的结构化存储之外,还包括的文件存储,团队管理,流式消息队列和深度学习等等的一些服务,我们的愿景是把它打造成一个闭环的集计算和存储于一体的云服务平台,更好的给小米的用户和生态链公司进行服务.然后用户要访问上面的任何一个服务都要通过团队管理,自己去申请一些team等等.

这个是我们融合云平台的架构图,中间主要的服务是Zookeeper、HDFS、HBase等等服务,在上面有SDS、FDS、EMQ,还有其他服务等等,外围有一些公用的组件就是部署服务,我们为了方便我们集群的管理还有一些升级部署,我们开发了一套公用的部署系统,所有的部署都是通过融合云的部署系统.

还有一套公用的报警系统,并且用户访问的时候都要通过团队认证管理提供一个统一的认证入口.下面来简单介绍一下三模块,融合云通过一个CloudManager进行了团队认证管理,用户可以对CloudManager发一些团队管理请求,添加或删除team等,这个模块就会把这些信息存在MySql,比如用户要访问我们的结构化存储或者文件存储的服务,如果前端过来的请求,前端首先会把这个请求转发到CloudManager这个模块,CloudManager经过验证以后会从MySQL读出团队信息,再放到http header里面再转发到后端service.

如果通过SDK直接访问service,要通过签名进行认证才的,具体是service调CloudManager的RestfulAPI,这个Restful API会返回用户的团队信息,service再把这个解密,算一个签名出来,再做对比.

融合云的部署系统是使用了我们小米发的Minos2.0,1.0已经开源,2.0实际上是在1.0的基础上增加了一些认证授权的模块,主要包括Tank管理服务器,集群每一个节点都用supervisor监控,提供了工具来给用户做集群的升级等等,这些操作都需要经过CloudManager进行认证,主要是为了保证只有集群的owner或者对这个集群有相应的权限的用户才可以进行相应的操作.

提供了一套统一的监控告警系统,小米其实在运维团队也开发了一套open-falcon的告警系统,为什么自己还要再搞一套?因为那套在公网访问是不太方便,因为我们这一套系统需要供很多的用户一起用,需要数据隔离,并且那套是使用RRD来存储数据,不保存原始数据,我们的很多用户是有这个需求的.更重要的一个原因就是我们需要为用户来监控其他服务的资源上面的一些指标提供一个统一的入口,例如用户用了结构化存储还有文件存储等等,这些服务上面的资源的指标都可以通过我们统一的监控告警系统来进行统一的监控.

它的主要架构是这样的,用户是可以直接往我们的监控告警系统的ThriftServer发请求,包括两种,一个是推送指标或者查询指标,这种请求在ThriftServer直接转发到OpenTSDB,再对这些指标进行保存,OpenTSDB支持数据的下采样和聚合.

另外一种就是对指标监控要定制一些告警规则,用户可以把这个告警规则的请求发到service,ThriftServer把这个规则存到SDS,告警用户模块是对用户每一个指标都要过一遍,根据用户定制的告警规则看有没有触发告警,因为需要有一些指标的内存状态,所以就需要保证同一个指标必须发到模块的同一个节点上.

另外还有一个Collector模块,把我们所有小米融合云里面的子服务的指标,就是用户关注的指标统一收集然后推送到我们的监控告警系统给用户做统一监控.我今天的分享就到这里,谢谢.

文章来自微信公众号:云计算开源产业联盟

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读