hbase的过滤器如何使用

2020-09-09 08:09发布

hbase的过滤器如何使用

hbase的过滤器如何使用

2条回答
aijingda
2楼 · 2020-09-09 08:54

基本概念

HBase为筛选数据提供了一组过滤器,通过这个过滤器可以在HBase中的数据的多个维度(行,列,数据版本)上进行对数据的筛选操作,也就是说过滤器筛选的数据能够细化到具体的一个存储单元格上(由行键、列名、时间戳定位)。通常来说,通过行键、值来筛选数据的应用场景较多。

HBase中的过滤器类似于SQL中的Where条件。
过滤器在客户端创建,然后通过RPC发送到服务器上,由服务器执行,执行流程如下图:


过滤器执行流程图

客户端首先创建Scan过滤器,然后将装载过滤器数据的序列化对象Scan发送到HBase的各个RegionServer上(这是一个服务端过滤器),这样也可以降低网络传输的压力。RegionServer使用Scan和内部的扫描器对数据进行过滤操作。

使用过滤器至少需要两类参数,一类是抽象的操作符。HBase 提供了枚举类型的变量来表示这些抽象的操作符,含义如下:
LESS    小于
LESS_OR_EQUAL   小于等于
EQUAL   等于
NOT_EQUAL   不等于
GREATER_OR_EQUAL    大于等于
GREATER 大于
NO_OP   无操作

另一类是比较器,比较器作为过滤器的核心组成之一,用于处理具体的比较逻辑,例如字节级的比较,字符串级的比较等。常用的比较器及含义如下:
BinaryComparator    :二进制比较器,用于按字典顺序比较 Byte 数据值。采用Bytes.compareTo(byte[])
BinaryPrefixComparator  :前缀二进制比较器。与二进制比较器不同的是,只比较前缀是否相同
NullComparator  :判断给定的值是否为空
RegexStringComparator   :提供一个正则的比较器,仅支持 EQUAL 和非EQUAL
SubstringComparator :用于监测一个子串是否存在于值中,并且不区分大小写


行键过滤器

筛选出匹配的所有的行,使用BinaryComparator可以筛选出具有某个行键的行,或者通过改变比较运算符来筛选出符合某一条件的多条数据。例如下面的例子,从表t1中筛选出行键为row1的一行数据:

Table table =conn.getTable(TableName.valueOf("t1"));Scan scan = new Scan();Filter filter = new RowFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("row1"))); scan.setFilter(filter);ResultScanner rs = table.getScanner(scan);  for (Result res : rs) {  
      System.out.println(res);            }

列族过滤器

筛选出符合条件的所有列族数据。例如下面的例子,筛选出列族为f1的所有数据。

Table table =conn.getTable(TableName.valueOf("t1"));Scan scan = new Scan();Filter filter = new FamilyFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("f1"))); scan.setFilter(filter);ResultScanner rs = table.getScanner(scan);  for (Result res : rs) {  
      System.out.println(res);            }

列过滤器

根据列名进行筛选数据。例如下面的例子,筛选出列名为name的所有数据。

Scan scan = new Scan();Filter filter = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("name"))); scan.setFilter(filter);

值过滤器

按照具体的值来筛选单元格的过滤器,这会把一行中值不能满足条件的单元格过滤掉。例如下面的例子:
筛选出一行中的值包含"xiaoming"的所有单元格数据。

Scan scan = new Scan();Filter filter = new ValueFilter(CompareOp.EQUAL, new SubstringComparator("xiaoming"));scan.setFilter(filter);

单列值过滤器

用一列的值是否满足条件来决定该行是否被过滤。在它的具体对象上,可以调用setFilterIfMissing(true)或者setFilterIfMissing(false),默认值是false。其作用是,对于要使用作为条件的列,如果这一列本身就不存在,默认这样的行会包含在结果集中。如果设置为true,这样的行会被过滤掉。
例如下面的例子:筛选出name列不包含zhangsan的所有行数据。

Filter filter = new SingleColumnValueFilter(Bytes.toBytes("f1"), Bytes.toBytes("name"),CompareFilter.CompareOp.NOT_EQUAL, new SubstringComparator("xiaoming")); ////如果某行列name不存在,那么该行将被过滤掉,false则不进行过滤,默认为false。((SingleColumnValueFilter) filter).setFilterIfMissing(true);




studentaaa
3楼 · 2021-01-15 09:50

1 过滤器

HBase 的基本 API,包括增、删、改、查等。

增、删都是相对简单的操作,与传统的 RDBMS 相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根据行键的范围来查询(Scan)。

HBase 不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filter)来查询。

1.1 过滤器的两类参数

过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤,基于 HBase 本身提供的三维有序(行键,列,版本有序),这些过滤器可以高效地完成查询过滤的任务,带有过滤器条件的 RPC 查询请求会把过滤器分发到各个 RegionServer(这是一个服务端过滤器),这样也可以降低网络传输的压力。

使用过滤器至少需要两类参数:

1.1.1 一类是抽象的操作符

HBase 提供了枚举类型的变量来表示这些抽象的操作符:

LESS

LESS_OR_EQUAL

EQUAL

NOT_EQUAL

GREATER_OR_EQUAL

GREATER

NO_OP

1.1.2 另一类是比较器

代表具体的逻辑,例如字节级的比较,字符串级的比较等。

1.2 比较器

比较器作为过滤器的核心组成之一,用于处理具体的比较逻辑,例如字节级的比较,字符串级的比较等。

1.2.1 RegexStringComparator

支持正则表达式的值比较

Scan scan = new Scan();

RegexStringComparator comp = new RegexStringComparator("you."); // 以 you 开头的字符串

SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("family"), Bytes.toBytes("qualifier"), CompareOp.EQUAL, comp);

scan.setFilter(filter);

1.2.2 SubStringComparator

用于监测一个子串是否存在于值中,并且不区分大小写。

Scan scan = new Scan();

SubstringComparator comp = new SubstringComparator("1129"); // 查找包含 1129 的字符串

SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("family"), Bytes.toBytes("qualifier"), CompareOp.EQUAL, comp);

scan.setFilter(filter);

1.2.3 BinaryPrefixComparator

前缀二进制比较器。与二进制比较器不同的是,只比较前缀是否相同。

Scan scan = new Scan();

BinaryPrefixComparator comp = new BinaryPrefixComparator(Bytes.toBytes("yting")); //

SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("family"), Bytes.toBytes("qualifier"),  CompareOp.EQUAL, comp);

scan.setFilter(filter);

1.2.4 BinaryComparator

二进制比较器,用于按字典顺序比较 Byte 数据值。

Scan scan = new Scan();

BinaryComparator comp = new BinaryComparator(Bytes.toBytes("xmei")); //

ValueFilter filter = new ValueFilter(CompareOp.EQUAL, comp);

scan.setFilter(filter);


1.3 列值过滤器


1.3.1 SingleColumnValueFilter

SingleColumnValueFilter 用于测试值的情况(相等,不等,范围 、、、)


下面一个检测列族 family 下的列 qualifier 的列值和字符串 "my-value" 相等的部分示例代码 : 

Scan scan = new Scan();

SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("family"), Bytes.toBytes("qualifier"), CompareOp.EQUAL, Bytes.toBytes("my-value"));

scan.setFilter(filter);


1.3.2 SingleColumnValueExcludeFilter

跟 SingleColumnValueFilter 功能一样,只是不查询出该列的值。


下面的代码就不会查询出 family 列族下 qualifier 列的值(列都不会查出来)

Scan scan = new Scan();

SingleColumnValueExcludeFilter filter = new  SingleColumnValueExcludeFilter(Bytes.toBytes("family"), Bytes.toBytes("qualifier"), CompareOp.EQUAL, Bytes.toBytes("my-value"));

scan.setFilter(filter);



1.4 键值元数据过滤器

HBase 采用 "键值对" 保存内部数据,键值元数据过滤器评估一行的 "键" 是否保存在(如 ColumnFamily:Column qualifiers)。


1.4.1 FamilyFilter

用于过滤列族(通常在 Scan 过程中通过设定某些列族来实现该功能,而不是直接使用该过滤器)。


Scan scan = new Scan();

FamilyFilter filter = new FamilyFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("my-family"))); // 列族为 my-family

scan.setFilter(filter);


相关问题推荐

  • 什么是大数据时代?2021-01-13 21:23
    回答 100

    大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,而这个海量数据的时代则被称为大数据时代。随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结...

  • 回答 84

    Java和大数据的关系:Java是计算机的一门编程语言;可以用来做很多工作,大数据开发属于其中一种;大数据属于互联网方向,就像现在建立在大数据基础上的AI方向一样,他两不是一个同类,但是属于包含和被包含的关系;Java可以用来做大数据工作,大数据开发或者...

  • 回答 52
    已采纳

    学完大数据可以从事很多工作,比如说:hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位!不同的岗位,所具备的技术知识也是不一样...

  • 回答 29

    简言之,大数据是指大数据集,这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。大数据的特点:数据量大、数据种类多、 要求实时性强、数据所蕴藏的...

  • 回答 14

    tail -f的时候,发现一个奇怪的现象,首先 我在一个窗口中 tail -f test.txt 然后在另一个窗口中用vim编辑这个文件,增加了几行字符,并保存,这个时候发现第一个窗口中并没有变化,没有将最新的内容显示出来。tail -F,重复上面的实验过程, 发现这次有变化了...

  • 回答 18

    您好针对您的问题,做出以下回答,希望有所帮助!1、大数据行业还是有非常大的人才需求的,对于就业也有不同的岗位可选,比如大数据工程师,大数据运维,大数据架构师,大数据分析师等等,就业难就难在能否找到适合的工作,能否与你的能力和就业预期匹配。2、...

  • 回答 17

    最小的基本单位是Byte应该没多少人不知道吧,下面先按顺序给出所有单位:Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB,按照进率1024(2的十次方)计算:1Byte = 8 Bit1 KB = 1,024 Bytes 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576...

  • 回答 33

    大数据的定义。大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是对大量、动态、能持续的数据,通过运用新系统、新工具、新...

  • 回答 5

    MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL的版本:针对不同的用户,MySQL分为两种不同的版本:MySQL Community Server社区版本,免费,但是Mysql不提供...

  • mysql安装步骤mysql 2022-05-07 18:01
    回答 2

    mysql安装需要先使用yum安装mysql数据库的软件包 ;然后启动数据库服务并运行mysql_secure_installation去除安全隐患,最后登录数据库,便可完成安装

  • 回答 5

    1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike'port';4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...

  • 回答 5

    CREATE TABLE IF NOT EXISTS `runoob_tbl`(    `runoob_id` INT UNSIGNED AUTO_INCREMENT,    `runoob_title` VARCHAR(100) NOT NULL,    `runoob_author` VARCHAR(40) NOT NULL,    `submission_date` DATE,    PRI...

  • 回答 9

    学习多久,我觉得看你基础情况。1、如果原来什么语言也没有学过,也没有基础,那我觉得最基础的要先选择一种语言来学习,是VB,C..,pascal,看个人的喜好,一般情况下,选择C语言来学习。2、如果是有过语言的学习,我看应该一个星期差不多,因为语言的理念互通...

  • 回答 7

    添加语句 INSERT插入语句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查询插入语句: INSERT INTO 插入表 SELECT * FROM 查...

  • 回答 5

    看你什么岗位吧。如果是后端,只会CRUD。应该是可以找到实习的,不过公司应该不会太好。如果是数据库开发岗位,那这应该是不会找到的。

  • 回答 7

    查找数据列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name 

没有解决我的问题,去提问