zookeeper数据存储及查看hbase信息1.zookeeper数据存储:1.1内存数据存储、磁盘数据存储. 内存数据存储: 数据模型是一棵树。包括所有节点路径,节点信息,ACL等。 DataTree:所有节点信息 DataNode:数据存储最小单元1.2磁盘数据存储:目录在配置zookeeper的文件中。 ls /tmp/zookeeper/myid version-2/zookeeper_server.pid 其中version-2是事务日志格式版本号,内部文件为事务日志 ls /tmp/zookeeper/version-2/acceptedEpoch currentEpoch log.100000001 log.200000001 snapshot.100000000查看日志:java -cp ..jar org.apache.zookeeper.server.LogFormatter /tmp/zookeeper/version-2/log.1000000011.3其中snapshot.100000000为某一时刻的全量内存数据内容2.zookeeper-shell命令式使用:进入zookeeper:/zookeeper/bin/zkCli.sh 查看使用命令:help ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo cmdno printwatches on|off delete path [version] sync path listquota path rmr path get path [watch] create [-s] [-e] path data acl addauth scheme auth quit getAcl path close connect host:port ls:查看当前 ZooKeeper 中所包含的内容 ls2:查看当前节点数据并能看到更新次数等数据 create:创建一个新的 znodeget:获取znode数据信息 rmr:删除该节点...........查看节点acl信息:[zk: localhost:2181(CONNECTED) 16] getAcl /hbase'world,'anyone: cdrwa查看zookeeper根目录存储:ls /根目录: zookeeper hbase两个节点查看zookeeper节点目录ls2 /zookeeper[quota]cZxid = 0x0ctime = Thu Jan 01 08:00:00 CST 1970mZxid = 0x0mtime = Thu Jan 01 08:00:00 CST 1970pZxid = 0x0cversion = -1dataVersion = 0aclVersion = 0ephemeralOwner = 0x0dataLength = 0numChildren = 1查看hbase节点信息:ls2 /hbasehbase节点[replication, meta-region-server, rs, splitWAL, backup-masters, table-lock, flush-table-proc, region-in-transition, online-snapshot, switch, master, running, recovering-regions, draining, namespace, hbaseid, table]cZxid = 0x100000002ctime = Mon Nov 27 18:08:47 CST 2017mZxid = 0x100000002mtime = Mon Nov 27 18:08:47 CST 2017pZxid = 0x200000430cversion = 49dataVersion = 0aclVersion = 0ephemeralOwner = 0x0dataLength = 0numChildren = 17查看hbase集群在zookeeper记录的信息,比如:regionserver1-slave-1,regionserver2-slave-2ls2 /hbase/rs[slave-2,16020,1511853261863, slave-1,16020,1511853261718]cZxid = 0x100000004ctime = Mon Nov 27 18:08:47 CST 2017mZxid = 0x100000004mtime = Mon Nov 27 18:08:47 CST 2017pZxid = 0x200000426cversion = 22dataVersion = 0aclVersion = 0ephemeralOwner = 0x0dataLength = 0numChildren = 2表锁节点会有所有表。[zk: localhost:2181(CONNECTED) 10] ls2 /hbase/table-lock[dd, hbase:namespace]cZxid = 0x100000009ctime = Mon Nov 27 18:08:47 CST 2017mZxid = 0x100000009mtime = Mon Nov 27 18:08:47 CST 2017pZxid = 0x20000046fcversion = 23dataVersion = 0aclVersion = 0ephemeralOwner = 0x0dataLength = 0numChildren = 23查看所有表[zk: localhost:2181(CONNECTED) 11] ls2 /hbase/table[aa,hbase:meta, hbase:namespace]cZxid = 0x100000006ctime = Mon Nov 27 18:08:47 CST 2017mZxid = 0x100000006mtime = Mon Nov 27 18:08:47 CST 2017pZxid = 0x200000478cversion = 56dataVersion = 0aclVersion = 0ephemeralOwner = 0x0dataLength = 0numChildren = 24查看hbase的meta表信息,内涵server信息。[zk: localhost:2181(CONNECTED) 14] get /hbase/table/hbase:meta �master:16000�S�!��X�PBUFcZxid = 0x200000034ctime = Mon Nov 27 18:16:58 CST 2017mZxid = 0x200000035mtime = Mon Nov 27 18:16:58 CST 2017pZxid = 0x200000034cversion = 0dataVersion = 1aclVersion = 0ephemeralOwner = 0x0dataLength = 31numChildren = 0
查看hbase在zookeeper中的数据结构(这一个小的知识点很多人都会忽略)
[hadoop@master bin]$ zkCli.sh -server master:2181
ls /hbase
几个比较主要的下面有解释
replication,
meta-region-server,
rs, 节点数
splitWAL, 日志文件
backup-masters,
table-lock,
flush-table-proc,
region-in-transition,
online-snapshot,
switch,
master,
running,
recovering-regions,
draining,
namespace, 存放名字空间
hbaseid,
table, 存放表
zookeeper数据存储及查看hbase信息
1.zookeeper数据存储:
1.1内存数据存储、磁盘数据存储.
1.2磁盘数据存储:
1.3其中snapshot.100000000为某一时刻的全量内存数据内容
2.zookeeper-shell命令式使用:
查看节点acl信息:
查看zookeeper根目录存储:
查看zookeeper节点目录
查看hbase节点信息:
查看hbase集群在zookeeper记录的信息,比如:regionserver1-slave-1,regionserver2-slave-2
表锁节点会有所有表。
查看所有表
查看hbase的meta表信息,内涵server信息。
1内存数据存储、磁盘数据存储.
2磁盘数据存储:
3其中snapshot.100000000为某一时刻的全量内存数据内容
、zookeeper是hbase必不可少的,它提供了分布式系统当中的高效协调服务。2、hbase内置了zookeeper,但效果一般不好,一般都选择外置独立的zookeeper。 好长时间不整这个了,其实这些东西自己搭建一遍就能明白个八九了。 试试吧。
查看hbase在zookeeper中的数据结构(这一个小的知识点很多人都会忽略)
[hadoop@master bin]$ zkCli.sh -server master:2181
ls /hbase
几个比较主要的下面有解释
replication,
meta-region-server,
rs, 节点数
splitWAL, 日志文件
backup-masters,
table-lock,
flush-table-proc,
region-in-transition,
online-snapshot,
switch,
master,
running,
recovering-regions,
draining,
namespace, 存放名字空间
hbaseid,
table, 存放表
相关问题推荐
创建test文件夹hadoop fs -mkdir /test
Hadoop的三大核心组件分别是:1、HDFS(Hadoop Distribute File System):hadoop的数据存储工具。2、YARN(Yet Another Resource Negotiator,另一种资源协调者):Hadoop 的资源管理器。3、Hadoop MapReduce:分布式计算框架。HDFS是一个高度容错性的系统,适合部...
hbase依靠HDFS来存储底层数据。Hadoop分布式文件系统(HDFS)为HBase提供了高可靠性的底层存储支持,HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。
HBase分布式数据库具有如下的显著特点:容量大:HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列:HBase是面向列的存储和权限控制,并支持独立检索。列存储,其数据在表中是按照某列存储的,根据数据动态的增加列,并且可以单独对列进行...
解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,意味着您不需要购买和维护昂贵的服务...
1、HBase写快读慢,HBase的读取时长通常是几毫秒,而Redis的读取时长通常是几十微秒。性能相差非常大。2、HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰富的类型。3、Redis支持的数据量通常受内存限制,而HBase没有这个限制,可以存储远超内存大小...
列式存储格式是指以列为单位存储数据的数据存储格式,相比于传统的行式存储格式,它具有压缩比高、读I/O少(此处指可避免无意义的读I/O)等优点,目前被广泛应用于各种存储引擎中。对于HBase而言,它并不是一个列式存储引擎,而是列簇式存储引擎,即同一列簇中...
一、简单理解Hadoop是一个大象:一个hadoop集群主要包含三个主要的模块:Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架,注意他不是一个集群,而是一个编程框架。hdfs是一个分布式文件系统,是一个分布式集群,用于存放数据。yarn集群是负责集群...
01 网络公开数据集02 数据报采集03 网络爬虫04 日志收集05 社会调查06 业务数据集07 埋点采集08 传感器采集09 数据交易平台10 个人数据收集
1 Hadoop 各个目录的解释bin:Hadoop管理脚本和使用脚本所在目录, sbin目录下的脚本都是使用此目录下的脚本实现的。etc:Hadoop的所有配置文件所在的目录,所有hadoop的配置在etc/hadoop目录下include:对外提供的库的头文件lib :对外提供的动态编程库和静态...
HDFS存储机制,包括HDFS的写入过程和读取过程两个部分: 1、写入过程: 1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。2)namenode返回是否可以上传。3)客户端请求第一个 block上传到哪几个datanode服务器上。4)nam...
adoop核心:MapReduce原理。 MR的核心是shuffle,被称为奇迹发生的地方。 shuffle,弄乱,洗牌的意思。partition 分区,sort 排序,spill溢出,disk 磁盘下面是官方对shuffle的配图: phase 阶段,fetch 最终,merge 合并...
Shuffle阶段分为两部分:Map端和Reduce端。一 map端shuffle过程;1-内存预排序:默认每个map有100M内存进行预排序(为了效率),超过阈值,会把内容写到磁盘; 此过程使用快速排序算法;2-根据key和reducer的数量进行分区和排序;首先根据数据所属的Parti...
大数据时代需要1存储大量数据2快速的处理大量数据3从大量数据中进行分析
hadoop的四种模式。1、本地模式:本地模式就是解压源码包,不需要做任何的配置。通常用于开发调试,或者感受hadoop。2、伪分布模式:在学习当中一般都是使用这种模式,伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程,但是却...
进入和退出安全模式 [root@localhost bin]# ./hdfs dfsadmin -safemode enter15/08/03 07:26:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ......