主节点hadoop 启动,从节点没有,如何解决?

2021-01-13 10:38发布

[图]为什么datanode是localhost,ssh localhost不行但是ssh slave1就可以

为什么datanode是localhost,ssh localhost不行但是ssh slave1就可以


9条回答
小小收藏家
2楼 · 2021-01-13 11:16

同时检查主节点和子节点配置

检查配置,查看hosts主机名是否配置为当前机名

vi /etc/sysconfig/network

把hostname改成当前节点名

HOSTNAME=hadoop2x1

再查看/etc/hosts,看是否含有主机名与IP地址配对

192.168.1.242 hadoop2x1

同理子节点也需要配置

----------------------------------------------

修改主节点配置

在启动./sbin/start-all.sh后,输入JPS命令/home/jdk1.7.0_51/bin/jps发现所显示的进程不包含namenode。

原因是每次重新开机会清空tmp文件,同时namenode的格式化信息就会丢失

所以需要配置/etc/hadoop/core-site.xml文件,加入下面这段      


hadoop.tmp.dir
file:/home/grid/hadoop-2.2.0/tmp

同时在hadoop-2.2.0根路径下,创建临时空文件夹tmp

格式化hadoop,命令./bin/hdfs namenode -format

接着启动hadoop,命令./sbin/start-all.sh

再执行JPS命令就有namenode

-------------------------------------------------

如果最后还是显示不了datanode,则删除tmp临时目录,重新创建,然后重新格式化再启动就可以了。

 

最后成功后主节点显示

子节点显示


敦敦宁
3楼 · 2021-01-13 14:15

yarn.exclude的文件中存在这个节点的hostname,将这个主机从文件中删除,再启动就正常了。
yarn.exclude是yarn节点排除文件,一般在机器有问题下架的时候使用
3. Unexpected error starting NodeStatusUpdater
java.net.NoRouteToHostException: No Route to Host from slave/IP to master:

是开心果呀 - 热爱生活
4楼 · 2021-01-13 18:19

1.slaves节点报错,报的是启动nodemanager 所需内存不足

解决:
a: 修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024,
b.修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改为3G

2.nodemanager节点报错Unexpected error starting NodeStatusUpdater(一台nodemanager节点,出现无法正常启动情况,jps查看,发现nodemanager可以出现一会,过几秒就消失了,)
解决:
yarn.exclude的文件中存在这个节点的hostname,将这个主机从文件中删除,再启动就正常了。
yarn.exclude是yarn节点排除文件,一般在机器有问题下架的时候使用
3. Unexpected error starting NodeStatusUpdater
java.net.NoRouteToHostException: No Route to Host from slave/IP to master:
这个解决就是关闭掉防火墙(service iptables stop)


cccc
5楼 · 2021-01-13 18:41

同时检查主节点和子节点配置



我想吃肉
6楼 · 2021-01-13 19:09
这个看你的部署,如果是伪分布式则直接start-all.sh就可以了。一般hadoop配置的时候都使用了ssh,没有这个是不能运行起来的。分布式的话,每台都必须配置ssh,以及一些其他的参数配置,这样配置好每台机器以后,只要在主节点使用start-all.sh就可以相应的启动所属的从节点的。


无需指教
7楼 · 2021-01-14 08:49

在集群主机点启动HDFS集群和YARN集群之后,查看各个节点启动情况:主节点全部启动成功,从节点启动失败

[root@master-node ~]# jps6432 Jps5427 NameNode5811 ResourceManager5531 DataNode5917 NodeManager
[root@slave-node1 ~]# jps2244 Jps
[root@slave-node2 ~]# jps1818 Jps

原因

查看从节点log日志,报了“域名解析错误”。查看域名配置文件/etc/hosts,发现只有主节点配置了,从节点都没有配置

[root@slave-node1 logs]# head -100 hadoop-root-datanode-slave-node1.log[root@slave-node1 ~]# vim /etc/hosts127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

将主节点/etc/hosts文件远程复制到各个集群从节点上。

[root@master-node ~]# vim /etc/hosts127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.159.10    master-node192.168.159.11    slave-node1192.168.159.12    slave-node2[root@master-node ~]# scp /etc/hosts root@slave-node1:/etc/hosts[root@master-node ~]# scp /etc/hosts root@slave-node2:/etc/hosts

解决方案

先关闭集群,再次启动集群,检查启动情况,都生效了

master-node节点

[root@master-node ~]# cd /opt/module/hadoop-2.7.4/sbin/[root@master-node sbin]# start-dfs.sh[root@master-node sbin]# start-yarn.sh [root@master-node sbin]# jps5427 NameNode5811 ResourceManager5531 DataNode5917 NodeManager6685 Jps

slave-node1节点

[root@slave-node1 ~]# jps1922 DataNode1994 SecondaryNameNode2286 Jps

slave-node2节点

[root@slave-node2 ~]# jps1586 DataNode1818 Jps1679 NodeManager

 


1.slaves节点报错,报的是启动nodemanager 所需内存不足 解决: a: 修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于...

2.nodemanager节点报错Unexpected error starting NodeStatusUpdater...

3.Unexpected error starting NodeStatusUpdater


三岁奶猫
9楼 · 2021-01-15 10:44

yarn.exclude的文件中存在这个节点的hostname,将这个主机从文件中删除,再启动就正常了。
yarn.exclude是yarn节点排除文件,一般在机器有问题下架的时候使用
3. Unexpected error starting NodeStatusUpdater
java.net.NoRouteToHostException: No Route to Host from slave/IP to master:

相关问题推荐

  • 回答 3

    换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...

  • 回答 42

    十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...

  • 回答 70
    已采纳

    前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...

  • 回答 28

    迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...

  • 回答 9

    python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写

  • 回答 6

    第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...

  • 回答 1

    head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...

  • Python入门简单吗2021-09-23 13:21
    回答 45

    挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了

  • 回答 4

    Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...

  • 回答 8

     相当于 ... 这里不是注释

  • 回答 4

    还有FIXME

  • 回答 3

    python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。

  • 回答 8

    单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:#  单行注释print(hello world)注释可以放在代码上面也可以放在代...

  • 回答 2

    主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...

  • 回答 4

    或许是里面有没被注释的代码

  • 回答 26

    自学的话要看个人情况,可以先在B站找一下视频看一下

没有解决我的问题,去提问