加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

1万属性,100亿数据,每秒10万吞吐,架构如何设计?

发布时间:2019-05-06 01:14:03 所属栏目:建站 来源:58沈剑
导读:有一类业务场景,没有固定的schema存储,却有着海量的数据行数,架构上如何来实现这类业务的存储与检索呢?58最核心的数据帖子的架构实现技术细节,今天和大家聊一聊。 一、背景描述及业务介绍 什么是58最核心的数据? 58是一个信息平台,有很多垂直品类:招

解决了海量异构数据的存储问题,遇到的新问题是:

  • 每条记录ext内key都需要重复存储,占据了大量的空间,能否压缩存储;
  • cateid已经不足以描述ext内的内容,品类有层级,深度不确定,ext能否具备自描述性;
  • 随时可以增加属性,保证扩展性;

解决完海量异构数据的存储问题,接下来,要解决的是类目的扩展性问题。

第二:统一类目属性服务

每个业务有多少属性,这些属性是什么含义,值的约束等,耦合到帖子服务里显然是不合理的,那怎么办呢?

抽象出一个统一的类目、属性服务,单独来管理这些信息,而帖子库ext字段里json的key,统一由数字来表示,减少存储空间。

画外音:帖子表只存元信息,不管业务含义。

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读