2021-04-26 19:53发布
Hadoop本地模式安装
下载hadoop：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
解压至~/Programs目录：
tar -xzf hadoop-3.0.0.tar.gz
1
创建并进入目录~/hadoop-workspace，准备mapreduce输入文件wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
2
3
4
运行hadoop自带的mapreduce Demo
~/Programs/hadoop-3.0.0/bin/hadoop jar ~/Programs/hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount wc.input wc.ouput
查看输出文件：
➜ ls
_SUCCESS part-r-00000
_SUCCESS表示任务成功，part-r-00000为结果文件。
➜ cat part-r-00000
hadoop 3
hbase 1
hive 2
mapreduce 1
spark 2
sqoop 1
storm 1
5
6
7
8
Hadoop伪分布式模式安装
配置Hadoop环境变量
vim /etc/profile
# 追加如下两行配置
export HADOOP_HOME="~/Programs/hadoop-3.0.0"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
## 保存文件内容并source使其生效
source /etc/profile
配置core-site.xml
HDFS的地址
Hadoop临时目录
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/opt/data/tmp
9
10
配置hdfs-site.xml
dfs.replication配置的是HDFS存储时的备份数量
dfs.replication
格式化HDFS
~/Programs/hadoop-3.0.0/bin/hdfs namenode -format
格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。
格式化后，查看core-site.xml里hadoop.tmp.dir指定的目录下是否有了dfs目录。如果有，则说明格式化成功。
查看NameNode格式化后的目录
➜ ll /opt/data/tmp/dfs/name/current
total 32
-rw-r--r-- 1 chuxing wheel 214B 3 22 21:28 VERSION
-rw-r--r-- 1 chuxing wheel 397B 3 22 21:28 fsimage_0000000000000000000
-rw-r--r-- 1 chuxing wheel 62B 3 22 21:28 fsimage_0000000000000000000.md5
-rw-r--r-- 1 chuxing wheel 2B 3 22 21:28 seen_txid
vession文件里保存：
namespaceID：NameNode的唯一ID。
clusterID:集群ID，NameNode和DataNode的集群ID应该一致，表明是一个集群。
VERSION文件内容：
#Thu Mar 22 21:28:23 CST 2018
namespaceID=1277421845
clusterID=CID-a41907d3-7347-4ed2-95a8-0f9758d4a9db
cTime=1521725303613
storageType=NAME_NODE
blockpoolID=BP-1635914868-127.0.0.1-1521725303613
layoutVersion=-64
启动NameNode
${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
启动DataNode
${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
启动SecondaryNameNode
${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
启动NameNode、DataNode、SecondaryNameNode也可采用如下的方式：
➜ ~ hdfs namenode
➜ ~ hdfs secondarynamenode
➜ ~ hdfs datanode
# 或者后台启动
➜ ~ hdfs --daemon start namenode
➜ ~ hdfs --daemon start datanode
➜ ~ hdfs --daemon start secondarynamenode
第一步，我们需要完成Linux虚拟机的安装，其中包含了很多详细的操作；
第二步，我们要完成Linux的环境配置，其中也包含了大量操作
第三步，就是集群里面Linux的虚拟机克隆，多个节点，克隆多台虚拟机
第四步，就是节点之间的ssh配置
第五步，还需要配置NTP，保证各个节点之间时间同步
最后，就可以开始我们的Hadoop集群安装和配置了，当然其中的小步骤也非常的多；
创建test文件夹hadoop fs -mkdir /test
Hadoop的三大核心组件分别是：1、HDFS(Hadoop Distribute File System)：hadoop的数据存储工具。2、YARN(Yet Another Resource Negotiator,另一种资源协调者)：Hadoop 的资源管理器。3、Hadoop MapReduce:分布式计算框架。HDFS是一个高度容错性的系统，适合部...
hbase依靠HDFS来存储底层数据。Hadoop分布式文件系统(HDFS)为HBase提供了高可靠性的底层存储支持，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。
HBase分布式数据库具有如下的显著特点：容量大：HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase是面向列的存储和权限控制，并支持独立检索。列存储，其数据在表中是按照某列存储的，根据数据动态的增加列，并且可以单独对列进行...
解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务...
1、HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的读取时长通常是几十微秒。性能相差非常大。2、HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰富的类型。3、Redis支持的数据量通常受内存限制，而HBase没有这个限制，可以存储远超内存大小...
列式存储格式是指以列为单位存储数据的数据存储格式，相比于传统的行式存储格式，它具有压缩比高、读I/O少(此处指可避免无意义的读I/O)等优点，目前被广泛应用于各种存储引擎中。对于HBase而言，它并不是一个列式存储引擎，而是列簇式存储引擎，即同一列簇中...
一、简单理解Hadoop是一个大象：一个hadoop集群主要包含三个主要的模块：Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架，注意他不是一个集群，而是一个编程框架。hdfs是一个分布式文件系统，是一个分布式集群，用于存放数据。yarn集群是负责集群...
01 网络公开数据集02 数据报采集03 网络爬虫04 日志收集05 社会调查06 业务数据集07 埋点采集08 传感器采集09 数据交易平台10 个人数据收集
1 Hadoop 各个目录的解释bin：Hadoop管理脚本和使用脚本所在目录， sbin目录下的脚本都是使用此目录下的脚本实现的。etc：Hadoop的所有配置文件所在的目录，所有hadoop的配置在etc/hadoop目录下include:对外提供的库的头文件lib ：对外提供的动态编程库和静态...
HDFS存储机制，包括HDFS的写入过程和读取过程两个部分： 1、写入过程： 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）nam...
adoop核心：MapReduce原理。 MR的核心是shuffle，被称为奇迹发生的地方。 shuffle，弄乱，洗牌的意思。partition 分区，sort 排序，spill溢出，disk 磁盘下面是官方对shuffle的配图： phase 阶段，fetch 最终，merge 合并...
Shuffle阶段分为两部分:Map端和Reduce端。一 map端shuffle过程；1-内存预排序：默认每个map有100M内存进行预排序（为了效率），超过阈值，会把内容写到磁盘； 此过程使用快速排序算法；2-根据key和reducer的数量进行分区和排序；首先根据数据所属的Parti...
大数据时代需要1存储大量数据2快速的处理大量数据3从大量数据中进行分析
hadoop的四种模式。1、本地模式：本地模式就是解压源码包，不需要做任何的配置。通常用于开发调试，或者感受hadoop。2、伪分布模式：在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却...
进入和退出安全模式 [root@localhost bin]# ./hdfs dfsadmin -safemode enter15/08/03 07:26:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ......
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 初晓微芒 的问题《如何搭建Hadoop的环境？》','http://www.shouhuola.com/q-35957.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
Hadoop本地模式安装
下载hadoop：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
解压至~/Programs目录：
tar -xzf hadoop-3.0.0.tar.gz
1
创建并进入目录~/hadoop-workspace，准备mapreduce输入文件wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
1
2
3
4
运行hadoop自带的mapreduce Demo
~/Programs/hadoop-3.0.0/bin/hadoop jar ~/Programs/hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount wc.input wc.ouput
1
查看输出文件：
➜ ls
_SUCCESS part-r-00000
1
2
_SUCCESS表示任务成功，part-r-00000为结果文件。
➜ cat part-r-00000
hadoop 3
hbase 1
hive 2
mapreduce 1
spark 2
sqoop 1
storm 1
1
2
3
4
5
6
7
8
Hadoop伪分布式模式安装
配置Hadoop环境变量
vim /etc/profile
# 追加如下两行配置
export HADOOP_HOME="~/Programs/hadoop-3.0.0"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
## 保存文件内容并source使其生效
source /etc/profile
1
2
3
4
5
6
7
8
配置core-site.xml
HDFS的地址
Hadoop临时目录
1
2
3
4
5
6
7
8
9
10
配置hdfs-site.xml
dfs.replication配置的是HDFS存储时的备份数量
1
2
3
4
5
6
格式化HDFS
~/Programs/hadoop-3.0.0/bin/hdfs namenode -format
1
格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。
格式化后，查看core-site.xml里hadoop.tmp.dir指定的目录下是否有了dfs目录。如果有，则说明格式化成功。
查看NameNode格式化后的目录
➜ ll /opt/data/tmp/dfs/name/current
total 32
-rw-r--r-- 1 chuxing wheel 214B 3 22 21:28 VERSION
-rw-r--r-- 1 chuxing wheel 397B 3 22 21:28 fsimage_0000000000000000000
-rw-r--r-- 1 chuxing wheel 62B 3 22 21:28 fsimage_0000000000000000000.md5
-rw-r--r-- 1 chuxing wheel 2B 3 22 21:28 seen_txid
1
2
3
4
5
6
vession文件里保存：
namespaceID：NameNode的唯一ID。
clusterID:集群ID，NameNode和DataNode的集群ID应该一致，表明是一个集群。
VERSION文件内容：
#Thu Mar 22 21:28:23 CST 2018
namespaceID=1277421845
clusterID=CID-a41907d3-7347-4ed2-95a8-0f9758d4a9db
cTime=1521725303613
storageType=NAME_NODE
blockpoolID=BP-1635914868-127.0.0.1-1521725303613
layoutVersion=-64
1
2
3
4
5
6
7
启动NameNode
${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
1
启动DataNode
${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
1
启动SecondaryNameNode
${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
1
启动NameNode、DataNode、SecondaryNameNode也可采用如下的方式：
➜ ~ hdfs namenode
➜ ~ hdfs secondarynamenode
➜ ~ hdfs datanode
# 或者后台启动
➜ ~ hdfs --daemon start namenode
➜ ~ hdfs --daemon start datanode
➜ ~ hdfs --daemon start secondarynamenode
第一步，我们需要完成Linux虚拟机的安装，其中包含了很多详细的操作；
第二步，我们要完成Linux的环境配置，其中也包含了大量操作
第三步，就是集群里面Linux的虚拟机克隆，多个节点，克隆多台虚拟机
第四步，就是节点之间的ssh配置
第五步，还需要配置NTP，保证各个节点之间时间同步
最后，就可以开始我们的Hadoop集群安装和配置了，当然其中的小步骤也非常的多；
相关问题推荐
创建test文件夹hadoop fs -mkdir /test
Hadoop的三大核心组件分别是：1、HDFS(Hadoop Distribute File System)：hadoop的数据存储工具。2、YARN(Yet Another Resource Negotiator,另一种资源协调者)：Hadoop 的资源管理器。3、Hadoop MapReduce:分布式计算框架。HDFS是一个高度容错性的系统，适合部...
hbase依靠HDFS来存储底层数据。Hadoop分布式文件系统(HDFS)为HBase提供了高可靠性的底层存储支持，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。
HBase分布式数据库具有如下的显著特点：容量大：HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase是面向列的存储和权限控制，并支持独立检索。列存储，其数据在表中是按照某列存储的，根据数据动态的增加列，并且可以单独对列进行...
解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务...
1、HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的读取时长通常是几十微秒。性能相差非常大。2、HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰富的类型。3、Redis支持的数据量通常受内存限制，而HBase没有这个限制，可以存储远超内存大小...
列式存储格式是指以列为单位存储数据的数据存储格式，相比于传统的行式存储格式，它具有压缩比高、读I/O少(此处指可避免无意义的读I/O)等优点，目前被广泛应用于各种存储引擎中。对于HBase而言，它并不是一个列式存储引擎，而是列簇式存储引擎，即同一列簇中...
一、简单理解Hadoop是一个大象：一个hadoop集群主要包含三个主要的模块：Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架，注意他不是一个集群，而是一个编程框架。hdfs是一个分布式文件系统，是一个分布式集群，用于存放数据。yarn集群是负责集群...
01 网络公开数据集02 数据报采集03 网络爬虫04 日志收集05 社会调查06 业务数据集07 埋点采集08 传感器采集09 数据交易平台10 个人数据收集
1 Hadoop 各个目录的解释bin：Hadoop管理脚本和使用脚本所在目录， sbin目录下的脚本都是使用此目录下的脚本实现的。etc：Hadoop的所有配置文件所在的目录，所有hadoop的配置在etc/hadoop目录下include:对外提供的库的头文件lib ：对外提供的动态编程库和静态...
HDFS存储机制，包括HDFS的写入过程和读取过程两个部分： 1、写入过程： 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）nam...
adoop核心：MapReduce原理。 MR的核心是shuffle，被称为奇迹发生的地方。 shuffle，弄乱，洗牌的意思。partition 分区，sort 排序，spill溢出，disk 磁盘下面是官方对shuffle的配图： phase 阶段，fetch 最终，merge 合并...
Shuffle阶段分为两部分:Map端和Reduce端。一 map端shuffle过程；1-内存预排序：默认每个map有100M内存进行预排序（为了效率），超过阈值，会把内容写到磁盘； 此过程使用快速排序算法；2-根据key和reducer的数量进行分区和排序；首先根据数据所属的Parti...
大数据时代需要1存储大量数据2快速的处理大量数据3从大量数据中进行分析
hadoop的四种模式。1、本地模式：本地模式就是解压源码包，不需要做任何的配置。通常用于开发调试，或者感受hadoop。2、伪分布模式：在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却...
进入和退出安全模式 [root@localhost bin]# ./hdfs dfsadmin -safemode enter15/08/03 07:26:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ......