加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

处理亿级数据的“定时任务”,如何缩短执行时间?

发布时间:2019-08-28 19:03:31 所属栏目:建站 来源:58沈剑
导读:继续答水友提问。 问题抽象: 用户会员系统; 用户会有分数流水,每个月要做一次分数统计,对不同分数等级的会员做不同业务处理; 数据假设: 假设用户在100w级别; 假设用户日均1条流水,也就是说日增流水数据量在100W级别,月新增流水在3kW级别,3个月流水

对于这类一次性集中处理大量数据的定时任务,优化思路是:

  • 同一份数据,减少重复计算次数;
  • 分摊CPU计算时间,尽量分散处理(甚至可以实时),而不是集中处理;
  • 减少单次计算数据量; 希望大家有所启示,思路比结论重要。

欢迎大家继续提问,有问必答。

【本文为51CTO专栏作者“58沈剑”原创稿件,转载请联系原作者】

处理亿级数据的“定时任务”,如何缩短执行时间?

戳这里,看该作者更多好文

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读