Hbase预分区?

2020-09-23 16:16发布

4条回答
milkmilk
2楼 · 2020-09-23 16:22

1. HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有startkey和endkey,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断增加,此region已经不能承受不断增长的数据量,会进行split,表在进行split的时候,会耗费大量的资源,频繁的分区对HBase的性能有巨大的影响。

基于此我们可以控制在建表的时候,创建多个空region,并确定每个region的起始和终止rowky,这样只要我们的rowkey设计能均匀的命中各个region,就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长,该split的还是要进行split。像这样预先创建hbase表分区的方式,称之为预分区。

方式一:

利用建表语句create ‘表名’, ’列族’,splits => [‘Rowkey1’,‘Rowkey2’……]

create 'bflogs' ,'info',SPLITS =>['10','20','30']

方式二:

指定一个文件,我们可以把我们要分区的Rowkey放在一个文件当中,然后通过建表命令的SPLITES_FILE=>’文件名’来指定

创建bflogs-split.txt的文件作为rowkey的文件

编辑bflogs-split.txt文件,写上Rowkey,写的时候是不用加引号的:

create 'student3', 'info', SPLITS_FILE => '/opt/datas/bflogssplits.txt'


魏魏姐
3楼 · 2020-09-24 09:22

hbase中的预分区,是为了防止要插入的数据的rowkey设计不太合理导致,数据热写(集中写到某一台或者几台机器上)给服务器造成太大压力以及更严重后果,所以在建表的时候,根据已知的rowkey规则创建出来部分预分区以防止在热写过程中频繁的split等。所以rowkey设计应该考虑到这个问题,将数据散列到hbase集群的各个机器上,均分压力。

楠楠楠楠
4楼 · 2020-09-24 14:37

hbase中的预分区,是为了防止要插入的数据的rowkey设计不太合理导致,数据热写(集中写到某一台或者几台机器上)给服务器造成太大压力以及更严重后果,所以在建表的时候,根据已知的rowkey规则创建出来部分预分区以防止在热写过程中频繁的split等。所以rowkey设计应该考虑到这个问题,将数据散列到hbase集群的各个机器上,均分压力。

我的网名不再改
5楼 · 2020-09-27 11:42

背景:HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有startkey和endkey,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断  增加,此region已经不能承受不断增长的数据量,会进行split,分成2个region。在此过程中,会产生两个问题:1.数据往一个region上写,会有写热点问题。2.region split会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候,创建多个空region,并确定每个region的起始和终止rowky,这样只要我们的rowkey设计能均匀的命中各个region,就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长,该split的还是要进行split。像这样预先创建hbase表分区的方式,称之为预分区,下面给出一种预分区的实现方式:
首先看没有进行预分区的表,startkey和endkey为空。

要进行预分区,首先要明确rowkey的取值范围或构成逻辑,以我的rowkey组成为例:两位随机数+时间戳+客户号,两位随机数的范围从00-99,于是我划分了10个region来存储数据,每个region对应的rowkey范围如下:
-10,10-20,20-30,30-40,40-50,50-60,60-70,70-80,80-90,90-
在使用HBase API建表的时候,需要产生splitkeys二维数组,这个数组存储的rowkey的边界值。下面是java 代码实现:

private byte[][] getSplitKeys() {  String[] keys = new String[] { "10|", "20|", "30|", "40|", "50|",    "60|", "70|", "80|", "90|" };  byte[][] splitKeys = new byte[keys.length][];  TreeSet rows = new TreeSet(Bytes.BYTES_COMPARATOR);//升序排序  for (int i = 0; i < keys.length; i++) {   rows.add(Bytes.toBytes(keys[i]));  }  Iterator rowKeyIter = rows.iterator();  int i=0;  while (rowKeyIter.hasNext()) {   byte[] tempRow = rowKeyIter.next();   rowKeyIter.remove();   splitKeys[i] = tempRow;   i++;  }  return splitKeys;}


需要注意的是,在上面的代码中用treeset对rowkey进行排序,必须要对rowkey排序,否则在调用admin.createTable(tableDescriptor,splitKeys)的时候会出错。创建表的代码如下:

/**  * 创建预分区hbase表  * @param tableName 表名  * @param columnFamily 列簇  * @return  */ @SuppressWarnings("resource") public boolean createTableBySplitKeys(String tableName, List columnFamily) {  try {   if (StringUtils.isBlank(tableName) || columnFamily == null     || columnFamily.size() < 0) {    log.error("===Parameters tableName|columnFamily should not be null,Please check!===");   }   HBaseAdmin admin = new HBaseAdmin(conf);   if (admin.tableExists(tableName)) {    return true;   } else {    HTableDescriptor tableDescriptor = new HTableDescriptor(      TableName.valueOf(tableName));    for (String cf : columnFamily) {     tableDescriptor.addFamily(new HColumnDescriptor(cf));    }    byte[][] splitKeys = getSplitKeys();    admin.createTable(tableDescriptor,splitKeys);//指定splitkeys    log.info("===Create Table " + tableName      + " Success!columnFamily:" + columnFamily.toString()      + "===");   }  } catch (MasterNotRunningException e) {   // TODO Auto-generated catch block   log.error(e);   return false;  } catch (ZooKeeperConnectionException e) {   // TODO Auto-generated catch block   log.error(e);   return false;  } catch (IOException e) {   // TODO Auto-generated catch block   log.error(e);   return false;  }  return true; }


在hbase shell中输入命令san 'hbase:meta'查看建表结果:

 

从上图可看出10个region均匀的分布在了3台regionserver上(集群就3台机器regionserver),达到预期效果。还可以在hbase的web UI界面中更加直观的查看建表的预分区信息。

再看看写数据是否均匀的命中各个region,是否能够做到对写请求的负载均衡:

public class TestHBasePartition {public static void main(String[] args) throws Exception{HBaseAdmin admin = new HBaseAdmin(conf);HTable table = new HTable(conf, "testhbase");table.put(batchPut());}private static String getRandomNumber(){  String ranStr = Math.random()+"";  int pointIndex = ranStr.indexOf(".");  return ranStr.substring(pointIndex+1, pointIndex+3); }  private static List batchPut(){  List list = new ArrayList();  for(int i=1;i<=10000;i++){   byte[] rowkey = Bytes.toBytes(getRandomNumber()+"-"+System.currentTimeMillis()+"-"+i);   Put put = new Put(rowkey);   put.add(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("zs"+i));   list.add(put);  }  return list; }}



相关问题推荐

  • 什么是大数据时代?2021-01-13 21:23
    回答 100

    大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,而这个海量数据的时代则被称为大数据时代。随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结...

  • 回答 84

    Java和大数据的关系:Java是计算机的一门编程语言;可以用来做很多工作,大数据开发属于其中一种;大数据属于互联网方向,就像现在建立在大数据基础上的AI方向一样,他两不是一个同类,但是属于包含和被包含的关系;Java可以用来做大数据工作,大数据开发或者...

  • 回答 52
    已采纳

    学完大数据可以从事很多工作,比如说:hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位!不同的岗位,所具备的技术知识也是不一样...

  • 回答 29

    简言之,大数据是指大数据集,这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。大数据的特点:数据量大、数据种类多、 要求实时性强、数据所蕴藏的...

  • 回答 14

    tail -f的时候,发现一个奇怪的现象,首先 我在一个窗口中 tail -f test.txt 然后在另一个窗口中用vim编辑这个文件,增加了几行字符,并保存,这个时候发现第一个窗口中并没有变化,没有将最新的内容显示出来。tail -F,重复上面的实验过程, 发现这次有变化了...

  • 回答 18

    您好针对您的问题,做出以下回答,希望有所帮助!1、大数据行业还是有非常大的人才需求的,对于就业也有不同的岗位可选,比如大数据工程师,大数据运维,大数据架构师,大数据分析师等等,就业难就难在能否找到适合的工作,能否与你的能力和就业预期匹配。2、...

  • 回答 17

    最小的基本单位是Byte应该没多少人不知道吧,下面先按顺序给出所有单位:Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB,按照进率1024(2的十次方)计算:1Byte = 8 Bit1 KB = 1,024 Bytes 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576...

  • 回答 33

    大数据的定义。大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是对大量、动态、能持续的数据,通过运用新系统、新工具、新...

  • 回答 5

    MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL的版本:针对不同的用户,MySQL分为两种不同的版本:MySQL Community Server社区版本,免费,但是Mysql不提供...

  • mysql安装步骤mysql 2022-05-07 18:01
    回答 2

    mysql安装需要先使用yum安装mysql数据库的软件包 ;然后启动数据库服务并运行mysql_secure_installation去除安全隐患,最后登录数据库,便可完成安装

  • 回答 5

    1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike&#39;port&#39;;4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...

  • 回答 5

    CREATE TABLE IF NOT EXISTS `runoob_tbl`(    `runoob_id` INT UNSIGNED AUTO_INCREMENT,    `runoob_title` VARCHAR(100) NOT NULL,    `runoob_author` VARCHAR(40) NOT NULL,    `submission_date` DATE,    PRI...

  • 回答 9

    学习多久,我觉得看你基础情况。1、如果原来什么语言也没有学过,也没有基础,那我觉得最基础的要先选择一种语言来学习,是VB,C..,pascal,看个人的喜好,一般情况下,选择C语言来学习。2、如果是有过语言的学习,我看应该一个星期差不多,因为语言的理念互通...

  • 回答 7

    添加语句 INSERT插入语句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查询插入语句: INSERT INTO 插入表 SELECT * FROM 查...

  • 回答 5

    看你什么岗位吧。如果是后端,只会CRUD。应该是可以找到实习的,不过公司应该不会太好。如果是数据库开发岗位,那这应该是不会找到的。

  • 回答 7

    查找数据列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name 

没有解决我的问题,去提问