Hbase的负载均衡

2020-12-03 11:06发布

Region 迁移

    作为一个分布式系统,分片迁移是最基础的核心功能 集群负载均衡、故障恢复等功 能都是建立在分片迁移的基础之上的 比如集群负载均衡,可以简单理解为集群中所有节点 上的分片数目保持相同 实际执行分片迁移时可以分为两个步骤:第一步,根据负载均衡策 略制定分片迁移计划;第二步,根据迁移计划执行分片的实际迁移 HBase 系统中,分片迁移就是 Region 迁移 和其他很多分布式系统不同, HBase Reg on 迁移是一个非常轻量级的操作 所谓轻量级,是因为 HBase 的数据实际存储在 HDFS 上,不需要独立进行管理,因而 Region 在迁移的过程中不需要迁移实际数据,只要 将读写服务迁移即可

Region 合并

    在线合并 Region HBase 非常重要的功能之一 相比 Region 分裂,在线合并 Region 的使用场景比较有限,最典型的一个应用场景是,在某些业务中本来接收写人的 Region 之后的很长时间都不再接收任何写人,而且 Region 上的数据因为 TTL 过期被删除 这种场 下的 Region 实际上没有任何存在的意义,称为 Region 一旦集群 中空闲 Region 多,就会导致集群管理运维成本增 此时 可以使用在线合并功能将这些 Region 与相邻 Region 合并,减少集群中 Region 的个数。

Region 分裂

    Region 分裂是 HBase 最核心的功能之一,是实现分布式可扩展性的基础 HBase 中, Region 分裂有多种触发策略可以配置,→旦触发, HBase 寻找分裂点,然后执行真正 分裂操作

HBase 的负载均衡应用

    负载均衡是分布式系统的必备功能,多个节点组成的分布式系统必须通过负载均衡机 制保证各个节点之间负载的均衡性, 旦出现负载非常 中的情况,就很有可能导致对应的 部分节点响应变慢,进而拖慢甚至拖垮整个集群 在实际生产线环境中,负载均衡机制最重要的 个应用场 是系统扩容 分布式系统 通过增加节点实现扩展性,但如果说扩 就是 加节 并不 扩容操作 般分为两 个步骤:首先,需要增加节点并让系统感知到节点加人;其次, 需要将系统中已有节点负载 迁移到新加人节点上 步负载迁移在具体实现上需要借助于负载均衡机制