1万属性，100亿数据，每秒10万吞吐，架构如何设计？

(3)搜索内核检索层，服务和索引数据部署在同一台机器上，服务启动时可以加载索引数据到内存，请求访问时从内存中load数据，访问速度很快：

• 为了满足数据容量的扩展性，索引数据进行了水平切分，增加切分份数，就能够无限扩展性能
• 为了满足一份数据的性能扩展性，同一份数据进行了冗余，理论上做到增加机器就无限扩展性能

系统时延，100亿级别帖子检索，包含请求分合，拉链求交集，从聚合层均可以做到10ms返回。

画外音：入口层是Java研发的，聚合层与检索层都是C语言研发的。

帖子业务，一致性不是主要矛盾，E-search会定期全量重建索引，以保证即使数据不一致，也不会持续很长的时间。

五、总结

文章写了很长，最后做一个简单总结，面对100亿数据量，1万列属性，10万吞吐量的业务需求，可以采用了元数据服务、属性服务、搜索服务来解决：

• 一个解决存储问题
• 一个解决品类解耦问题
• 一个解决检索问题

任何复杂问题的解决，都是循序渐进的。

思路比结论重要，希望大家有收获。

【本文为51CTO专栏作者“58沈剑”原创稿件，转载请联系原作者】

戳这里，看该作者更多好文

【编辑推荐】

1. 可能是最易懂的Hbase架构原理解析
2. Istio分层架构？80%的人有误解
3. 14个Q&A，讲述python与数据科学的“暧昧情事”
4. 【实战解析】基于HBase的大数据存储在京东的应用场景
5. 以免在景区看人，我爬了5W条全国景点门票数据...

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!