1. 分析

（1）配置集群

（2）启动、测试集群增、删、查

（3）执行WordCount案例

2. 执行步骤

（1）配置集群

（a）配置：hadoop-env.sh

Linux系统中获取JDK的安装路径：

[atguigu@ hadoop101 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_144

修改JAVA_HOME 路径：

在Hadoop的目录下，vim Hadoop-env.sh

 

export JAVA_HOME=/opt/module/jdk1.8.0_144

 

（b）配置：core-site.xml

 

 

 

fs.defaultFS

    hdfs://hadoop101:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.2/data/tmp

 

c）配置：hdfs-site.xml

dfs.replication

1

 

（2）启动集群

（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

（b）启动NameNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

 

（c）启动DataNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

伪分布模式操作是指在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式操作之上多了代码调试功能，可以查阅内存的使用情况、HDFS的输入输出以及守护进程之间的交互。

1.配置文件路径 ${HADOOP_HOME}/etc/hadoop/ *-site.xml

        

    2.配置core-site.xml            //配置核心文件：使用hdfs文件系统协议

           

           

               

                    fs.defaultFS

                    hdfs://localhost/

               

           

            

    3.配置hdfs-site.xml            //配置hdfs文件系统： 副本数 1

           

           

               

                    dfs.replication

                    1

               

           

            

    4.配置mapred-site.xml        //配置计算框架 ： yarn

           

           

               

                    mapreduce.framework.name

                    yarn

               

           

            

    5.配置yarn-site.xml        //配置yarn框架： 资源管理器主机和辅助服务：localhost ，mapreduce_shuffle

           

               

                    yarn.resourcemanager.hostname

                    localhost

               

               

                    yarn.nodemanager.aux-services

                    mapreduce_shuffle

               

           

                    

    6.配置SSH：登陆远程主机，无口令提示

            $>sudo apt-get install ssh        //安装服务端sshd和客户端ssh

            //（安装之前要修改163或者阿里源，并且更新和升级）

            $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa        //生成秘钥对：公钥和私钥

            $>cat id_rsa.pub >> ~/.ssh/authorized_keys        //将公钥发给对方，并添加到对方的认证库中

            $>ssh localhost    //连接，yes

            $>exit

            

    7.格式化hdfs文件系统

            a.$> hdfs namenode -format

            b.报错：java.net.UnknownHostException: 主机名: 主机名

            修改/etc/hosts文件

            127.0.0.1 主机名 localhost.localdomain localhost

            或是再添加一条 

            127.0.0.1 主机名 

            主机名是新加的，原来没有，保存，问题解决。

            

    8.启动 hdfs 和 yarn守护进程

            $> start-dfs.sh            //启动hadoop分布式文件系统    

            $> start-yarn.sh        //启动yarn资源管理框架

            $> jps                     //查看进程

            

    9.停止 hdfs 和 yarn

            $> stop-dfs.sh            //停止hadoop分布式文件系统

            $> stop-yarn.sh            //停止yarn资源管理框架

            $> jps                     //查看进程

            

    10.创建hdfs目录

            a. $> hadoop fs -mkdir -p /user/ubuntu         //创建目录 -p 多级目录

            a. $> hadoop fs -ls /                          //显示根目录

            a. $> hadoop fs -ls -R /                     //递归显示根目录 hadoop fs -lsr /

11.查看帮助

    $> hadoop fs                //直接回车，查看fs:文件系统的帮助

    $> hadoop fs -help put        //查看文件系统下的具体命令的帮助（help）

12.查看namenode 和 datanode 在本地系统的表现方式

    $> cd /tmp/ubuntu-hadoop/dfs/name/...

    $> cd /tmp/ubuntu-hadoop/dfs/data/...

13.查看日志log

    a.$> ${HADOOP_HOME}/logs

    b.通过webui查看

    http://localhost:50070/        //查看namenode的信息

    http://localhost:8088/        //查看resourceManager集群信息,只有在本机访问才可以

    http://localhost:19888/        //查看历史服务器hsitory的日志

14.通过netstat 查看端口占用情况

    $> netstat -lupt