hadoop的四种模式。

1、本地模式：

本地模式就是解压源码包，不需要做任何的配置。通常用于开发调试，或者感受hadoop。

2、伪分布模式：

在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却还是运行在同一个系统里面。所以叫伪分布式。

3、完全分布式：

这种模式才是工作当中所用的模式，hadoop运行在多台机器上面，我们称之为hadoop集群。

4、HA：

在实际的工作当中，对于hadoop完全分布式来说，并不真正的可靠，因为hadoop完全分布式集群会有单点故障（namenode单点故障、yarn单点故障），所以一般都会对这个集群做HA，一般都是做namenode和yarn的高可用。

Hadoop安装

在Linux、Windows、macOS下安装都需要先安装java环境，再安装hadoop，均需要配置环境变量。怎么配置可自行查找资料，这里就不介绍了。

Hadoop的运行模式配置

Hadoop的运行模式分为3种：本地运行模式、伪分布运行模式、集群运行模式。

1、独立模式即本地运行模式

无需运行任何守护进程，所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。独立模式无需配置任何文件。

2、伪分布运行模式

如果Hadoop对应的Java进程都运行在一个物理机器上，称为伪分布运行模式。以Windows为例，在其它系统下，需要修改路径。Linux下需要在hadoop-2.7.2/etc/hadoop/hadoop-env.sh指定java环境变量

伪分布运行模式需要配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

core-site.xml：指定hadoop的主节点master。

hdfs-site.xml：指定hadoop中的文件副本数。

mapred-site.xml：指定mapreduce的资源管理。

yarn-site.xml：

core-site.xml配置如下：

 
         hadoop.tmp.dir 
         /G:/tmp 
/home/hadoop/bigdata/temp 
         Abase for other temporary directories. 
   

         fs.default.name
         hdfs://localhost:9000    

hdfs-site.xml配置：

        
              dfs.replication
              1
        
  
        dfs.namenode.name.dir
        /G:/tmp/data/namenode
    
    
        dfs.datanode.data.dir
        /G:/tmp/data/datanode

 
   dfs.namenode.secondary.http-address
     http://localhost:50090
  
 

mapred-site.xml配置：

       
            mapreduce.framework.name
            yarn（选择yarn来mapreduce）
       

yarn-site.xml配置：

        
                yarn.resourcemanager.hostname
                localhost
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

Windows下启动hadoop

1、运行cmd窗口，切换到hadoop安装目录下的bin目录下执行hdfs namenode -format

2、运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd，它将会启动5个进程。

启动之后，可用jps命令查看，如下图，然后可进行增删改查、创建的命令操作。

Linux下启动hadoop

1、切换到hadoop安装目录下的bin目录下执行hdfs namenode -format

2、切换到hadoop的sbin目录，执行start-all.sh，它将会启动5个进程。

启动之后，可用jps命令查看。

3、集群模式

Linux系统，在虚拟机中创建四台系统：首先创建4台虚拟机，分别命名为hp001、hp002、hp003、hp004。安装成功后，然后分别修改主机名（hp001、hp002、hp003、hp004），再修改/etc/hosts文件（hp002、hp003、hp004同hp001），本机IP对应主机名。

hadoop1 node1作为名称节点

hadoop2 node2作为辅助名称节点

hadoop3 node3作为数据节点

hadoop4 node4作为数据节点

完全分布式配置方式：配置文件/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/下的四个xml文件。

core-site.xml

        
  fs.defaultFS
  hdfs://hp001
  
   
   hadoop.tmp.dir
  /home/hadoop/bigdata
  

hdfs-site.xml

        
                dfs.replication
                3
        
        
   dfs.namenode.secondary.http-address
     hp002:50090
  

mapred-site.xml

        
                mapreduce.framework.name
                yarn
        

yarn-site.xml

         
  yarn.resourcemanager.hostname
  hp001
  
  
  yarn.nodemanager.aux-services
  mapreduce_shuffle
    

把/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/slaves文件修改为

hp003

hp004

在集群上分发以上5个文件

cd /home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop

xsync core-site.xml

xsync hdfs-site.xml

xsync mapred-site.xml

xsync yarn-site.xml

xsync slaves

首次启动hadoop

1)格式化文件系统

$>hadoop namenode -format

2)启动所有进程

$>start-all.sh

3)查询进程

$>xcall jps

1、本地模式：

本地模式就是解压源码包，不需要做任何的配置。通常用于开发调试，或者感受hadoop。

2、伪分布模式：

在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却还是运行在同一个系统里面。所以叫伪分布式。

3、完全分布式：

这种模式才是工作当中所用的模式，hadoop运行在多台机器上面，我们称之为hadoop集群。

4、HA：

在实际的工作当中，对于hadoop完全分布式来说，并不真正的可靠，因为hadoop完全分布式集群会有单点故障（namenode单点故障、yarn单点故障），所以一般都会对这个集群做HA，一般都是做namenode和yarn的高可用。