2020-12-05 14:12发布
HBase概述
HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。
关于NewSQL与NoSQL的关系
技术总是不断向前发展的，如今都在提NewSQL，其实NewSQL在笔者看来是NoSQL之上的一个封装，一个子场景。NoSQL中的大表，典型就是提供了KV1V2……Vn，其中每个V可以是1b，也可以是100MB。可以说是一个元的存在，就类似于数字世界的01，可以任意组合。在以HBase为代表的NoSQL中，HBase可以组合出任意的场景，NewSQL可以是之上加了SQL层或者更近一层添加事务的子场景。
关于计算与存储分离
在云上，对于引擎最为核心的就是存储计算分离，存储可以按需计费，起码得弹性伸缩。计算则按节点存储提供。如果完全按照QPS计费，要么费用高得吓人，要么难以满足更多的场景，比如存储10M，到底算一次QPS，还是多少次。 由于HBase天生就是存储计算分离，天然比较适配云上的架构，可以说到了云上，HBase更加具有优势。
HBase场景
HBase可以说是一个数据库，也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在最近的一些版本中，引入了OffHeap降低gc影响，优化链路延迟，提供Replica等可以满足在线的需求。引入MOB，可以存储10M左右的对象，完全适应了对象存储。另外由于自身的并发能力、存储能力，可以说是具有最为竞争力的引擎
对象存储：我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中
时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求
推荐画像：特别是用户的画像，是一个比较大的稀疏矩阵，蚂蚁的风控就是构建在HBase之上
时空数据：主要是轨迹、气象网格之类，滴滴打车的轨迹数据主要存在HBase之中，另外在技术所有大一点的数据量的车联网企业，数据都是存在HBase之中
CubeDB OLAP：Kylin一个cube分析工具，底层的数据就是存储在HBase之中，不少客户自己基于离线计算构建cube存储在hbase之中，满足在线报表查询的需求
消息/订单：在电信领域、银行领域，不少的订单查询底层的存储，另外不少通信、消息同步的应用构建在HBase之上
Feeds流：典型的应用就是xx朋友圈类似的应用
NewSQL：之上有Phoenix的插件，可以满足二级索引、SQL的需求，对接传统数据需要SQL非事务的需求
更多的场景需要不断挖掘
应用场景:作为MapReduce（大规模数据集（大于1TB）的并行运算）的后台数据源；Facebook的消息类应用，包括Messages、Chats、Emails和SMS系统，用的都是HBase。
可以调一下系统时间，使用date命令，一般节点掉了都是时间不同步。
Hbase安装与启动一，前言二，前期准备 2.1 文件下载 2.2 服务器准备三，配置文件配置 3.1 hbase-env.sh 3.2 hbase-site.xml 3.3 regionservers 3.4 将hbase的bin目录添加到环境变量 3.5 Hbase的官方配置文档四，Hbase服务启动 4.1 ...
首先介绍部署 HBase 之前需要做的准备工作，如 Java、SSH 和 Hadoop 这些先决条件的配置；然后介绍如何安装 HBase，以及如何配置集群中相关文件。同时需要注意的是，本节介绍的是分布式 HBase 集群的部署，在对一台机器修改配置文件后需要同步到集群中的所有...
HBase安装HBase的安装也分为三种，单机版、伪分布式、分布式。我们首先来安装单机版。单机版首先我们去官网下载好HBase的安装包；接下来，将压缩包解压缩到你想安装的目录（我解压到的是/app目录）：tar -zxvf hbase-2.1.0-bin.tar.gz /app安装单机版很简...
HBase分布式数据库具有如下的显著特点：容量大：HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase是面向列的存储和权限控制，并支持独立检索。列存储，其数据在表中是按照某列存储的，根据数据动态的增加列，并且可以单独对列进行...
1、查看单行记录：get '表名称', '行名称'2、查看表中的记录总数：count '表名称'3、查看表所有记录：scan 表名称4、查看表某个列所有记录：scan 表名称 , ['列名称:']5、查看有哪些表：list6、查看表结构：describe '表...
hbase与传统数据库的区别1.数据类型：Hbase只有简单的数据类型，只保留字符串;传统数据库有丰富的数据类型。2.数据操作：Hbase只有简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系;传统数据库通常有各式各样的函数和连...
1、HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的读取时长通常是几十微秒。性能相差非常大。2、HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰富的类型。3、Redis支持的数据量通常受内存限制，而HBase没有这个限制，可以存储远超内存大小...
启动HBase集群：bin/start-hbase.sh单独启动一个HMaster进程：bin/hbase-daemon.sh start master单独启动一个HRegionServer进程：bin/hbase-daemon.sh start regionserver
hbase的八大应用场景1、对象存储：我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中2、时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求3、推荐画像：特别是用户的画像，是一个比较...
1、频繁刷写我们知道Region的一个列族对应一个MemStore，假设HBase表都有统一的1个列族配置，则每个Region只包含一个MemStore。通常HBase的一个MemStore默认大小为128 MB，见参数hbase.hregion.memstore.flush.size。当可用内存足够时，每个MemStore可以分配...
避免HBase经常split，产生不必要的资源消耗，提高HBase的性能。
HBase每张表在底层存储上是由至少一个Region组成，Region实际上就是HBase表的分区。HBase新建一张表时默认Region即分区的数量为1，一般在生产环境中我们都会手动给Table提前做 预分区，使用合适的分区策略创建好一定数量的分区并使分区均匀分布在不同regions...
关于每个regionserver节点分区数量大致合理的范围，HBase官网上也给出了定义：Generally less regions makes for a smoother running cluster (you can always manually split the big regions later (if necessary) to spread the data, or re......
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 上瘾入骨i 的问题《【大数据基础】hbase的应用场景有哪些》','http://www.shouhuola.com/q-31583.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
HBase概述
HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。
关于NewSQL与NoSQL的关系
技术总是不断向前发展的，如今都在提NewSQL，其实NewSQL在笔者看来是NoSQL之上的一个封装，一个子场景。NoSQL中的大表，典型就是提供了KV1V2……Vn，其中每个V可以是1b，也可以是100MB。可以说是一个元的存在，就类似于数字世界的01，可以任意组合。在以HBase为代表的NoSQL中，HBase可以组合出任意的场景，NewSQL可以是之上加了SQL层或者更近一层添加事务的子场景。
关于计算与存储分离
在云上，对于引擎最为核心的就是存储计算分离，存储可以按需计费，起码得弹性伸缩。计算则按节点存储提供。如果完全按照QPS计费，要么费用高得吓人，要么难以满足更多的场景，比如存储10M，到底算一次QPS，还是多少次。 由于HBase天生就是存储计算分离，天然比较适配云上的架构，可以说到了云上，HBase更加具有优势。
HBase场景
HBase可以说是一个数据库，也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在最近的一些版本中，引入了OffHeap降低gc影响，优化链路延迟，提供Replica等可以满足在线的需求。引入MOB，可以存储10M左右的对象，完全适应了对象存储。另外由于自身的并发能力、存储能力，可以说是具有最为竞争力的引擎
对象存储：我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中
时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求
推荐画像：特别是用户的画像，是一个比较大的稀疏矩阵，蚂蚁的风控就是构建在HBase之上
时空数据：主要是轨迹、气象网格之类，滴滴打车的轨迹数据主要存在HBase之中，另外在技术所有大一点的数据量的车联网企业，数据都是存在HBase之中
CubeDB OLAP：Kylin一个cube分析工具，底层的数据就是存储在HBase之中，不少客户自己基于离线计算构建cube存储在hbase之中，满足在线报表查询的需求
消息/订单：在电信领域、银行领域，不少的订单查询底层的存储，另外不少通信、消息同步的应用构建在HBase之上
Feeds流：典型的应用就是xx朋友圈类似的应用
NewSQL：之上有Phoenix的插件，可以满足二级索引、SQL的需求，对接传统数据需要SQL非事务的需求
更多的场景需要不断挖掘
应用场景:作为MapReduce（大规模数据集（大于1TB）的并行运算）的后台数据源；Facebook的消息类应用，包括Messages、Chats、Emails和SMS系统，用的都是HBase。
HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。
关于NewSQL与NoSQL的关系
技术总是不断向前发展的，如今都在提NewSQL，其实NewSQL在笔者看来是NoSQL之上的一个封装，一个子场景。NoSQL中的大表，典型就是提供了KV1V2……Vn，其中每个V可以是1b，也可以是100MB。可以说是一个元的存在，就类似于数字世界的01，可以任意组合。在以HBase为代表的NoSQL中，HBase可以组合出任意的场景，NewSQL可以是之上加了SQL层或者更近一层添加事务的子场景。
关于计算与存储分离
在云上，对于引擎最为核心的就是存储计算分离，存储可以按需计费，起码得弹性伸缩。计算则按节点存储提供。如果完全按照QPS计费，要么费用高得吓人，要么难以满足更多的场景，比如存储10M，到底算一次QPS，还是多少次。 由于HBase天生就是存储计算分离，天然比较适配云上的架构，可以说到了云上，HBase更加具有优势。
HBase场景
HBase可以说是一个数据库，也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在最近的一些版本中，引入了OffHeap降低gc影响，优化链路延迟，提供Replica等可以满足在线的需求。引入MOB，可以存储10M左右的对象，完全适应了对象存储。另外由于自身的并发能力、存储能力，可以说是具有最为竞争力的引擎
相关问题推荐
可以调一下系统时间，使用date命令，一般节点掉了都是时间不同步。
Hbase安装与启动一，前言二，前期准备 2.1 文件下载 2.2 服务器准备三，配置文件配置 3.1 hbase-env.sh 3.2 hbase-site.xml 3.3 regionservers 3.4 将hbase的bin目录添加到环境变量 3.5 Hbase的官方配置文档四，Hbase服务启动 4.1 ...
首先介绍部署 HBase 之前需要做的准备工作，如 Java、SSH 和 Hadoop 这些先决条件的配置；然后介绍如何安装 HBase，以及如何配置集群中相关文件。同时需要注意的是，本节介绍的是分布式 HBase 集群的部署，在对一台机器修改配置文件后需要同步到集群中的所有...
HBase安装HBase的安装也分为三种，单机版、伪分布式、分布式。我们首先来安装单机版。单机版首先我们去官网下载好HBase的安装包；接下来，将压缩包解压缩到你想安装的目录（我解压到的是/app目录）：tar -zxvf hbase-2.1.0-bin.tar.gz /app安装单机版很简...
HBase分布式数据库具有如下的显著特点：容量大：HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase是面向列的存储和权限控制，并支持独立检索。列存储，其数据在表中是按照某列存储的，根据数据动态的增加列，并且可以单独对列进行...
1、查看单行记录：get '表名称', '行名称'2、查看表中的记录总数：count '表名称'3、查看表所有记录：scan 表名称4、查看表某个列所有记录：scan 表名称 , ['列名称:']5、查看有哪些表：list6、查看表结构：describe '表...
hbase与传统数据库的区别1.数据类型：Hbase只有简单的数据类型，只保留字符串;传统数据库有丰富的数据类型。2.数据操作：Hbase只有简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系;传统数据库通常有各式各样的函数和连...
1、HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的读取时长通常是几十微秒。性能相差非常大。2、HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰富的类型。3、Redis支持的数据量通常受内存限制，而HBase没有这个限制，可以存储远超内存大小...
启动HBase集群：bin/start-hbase.sh单独启动一个HMaster进程：bin/hbase-daemon.sh start master单独启动一个HRegionServer进程：bin/hbase-daemon.sh start regionserver
hbase的八大应用场景1、对象存储：我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中2、时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求3、推荐画像：特别是用户的画像，是一个比较...
1、频繁刷写我们知道Region的一个列族对应一个MemStore，假设HBase表都有统一的1个列族配置，则每个Region只包含一个MemStore。通常HBase的一个MemStore默认大小为128 MB，见参数hbase.hregion.memstore.flush.size。当可用内存足够时，每个MemStore可以分配...
避免HBase经常split，产生不必要的资源消耗，提高HBase的性能。
HBase每张表在底层存储上是由至少一个Region组成，Region实际上就是HBase表的分区。HBase新建一张表时默认Region即分区的数量为1，一般在生产环境中我们都会手动给Table提前做 预分区，使用合适的分区策略创建好一定数量的分区并使分区均匀分布在不同regions...
关于每个regionserver节点分区数量大致合理的范围，HBase官网上也给出了定义：Generally less regions makes for a smoother running cluster (you can always manually split the big regions later (if necessary) to spread the data, or re......