图解HBase--大数据平台技术栈

这种小合并一般速度比较快，对业务的影响也比较小。本质上，小合并就是使用短时间的IO消耗以及带宽消耗换取后续查询的低延迟。在Minor Compaction过程中，达到TTL(记录保留时间)的数据会被移除，但是由墓碑标记的记录不会被移除，因为墓碑标记可能存储在不同HFile中，合并可能会跨过部分墓碑标记。

大合并(Major Compation)

大合并就是将一个Region下的所有StoreFile合并成一个大的StoreFile文件。在大合并的过程中，之前删除的行和过期的版本都会被删除。大合并一般一周做一次，由hbase.hregion.majorcompaction参数控制。大合并的影响一般比较大，尽量避免同一时间多个Region进行合并，因此HBase通过hbase.hregion.majorcompaction.jitter参数来进行控制，用于防止多个Region同时进行大合并。

具体算法：

• hbase.hregion.majorcompaction参数的值乘以一个随机分数，这个随机分数不能超过hbase.hregion.majorcompation.jitter的值(默认为0.5)。
• 通过hbase.hregion.majorcompaction参数的值加上或减去hbase.hregion.majorcompaction参数的值乘以一个随机分数的值就确定下一次大合并的时间区间。
• 可以通过hbase.hregion.majorcompaction设置为0来禁用major compaction。

RegionServer故障恢复

在Zookeeper中保存着RegionServer的相关信息，在RegionServer启动的时候，会在Zookeeper中创建对应的临时节点。RegionServer通过Socket和Zookeeper建立session会话，RegionServer会周期性的向Zookeeper发送ping消息包，以此说明自己还处于存活状态。而Zookeeper收到ping包后，则会更新对应Session的超时时间。

当Zookeeper超过session超时时间还未收到RegionServer的ping包，则Zookeeper会认为该RegionServer出现故障，Zookeeper会将该RegionServer对应的临时节点删除出，并通知Master，Master收到RegionServer挂掉的信息后就会启动数据恢复流程。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!