hadoop完全分布式集群搭建全部流程之四:ssh和脚本补充

2020-09-30 15:39发布

SSH无密码登录

1 )配置 ssh:配置ssh无密码登录主要 是为了方便集群之间进行通信,方便运算。

( 1 )基本语法

ssh 另一台电脑的 ip 地址

( 2 ) ssh 连接时出现 Host key verification failed 的解决方法

[root@hadoop2 opt]# ssh 192.168.1.103

The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.

RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.

Are you sure you want to continue connecting (yes/no)?

Host key verification failed.

( 3 )解决方案如下:直接输入 yes

2 )无密钥配置

( 1 )进入到我的 home 目录

               cd  ~/.ssh    注意:如果没有.ssh目录,需要重新建立.ssh目录,然后将所有权限改成当前用户,不是root,否则无法继续下面的操作

( 2 )生成公钥和私钥:

ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件 id_rsa (私钥)、 id_rsa.pub (公钥)

( 3 )将公钥拷贝到要免密登录的目标机器上

ssh-copy-id 192.168.1.102

3 ) .ssh 文件夹下的文件功能解释

        ( 1 ) ~/.ssh/known_hosts      :记录 ssh 访问过计算机的公钥 (public key)

        ( 2 ) id_rsa     :生成的私钥

        ( 3 ) id_rsa.pub      :生成的公钥

        ( 4 ) authorized_keys     :存放授权过得无秘登录服务器公钥

rsync:基于rsync可以写一些集群分发用的脚本,功能更加强大。

rsync远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

(1)查看rsync使用说明

man rsync | more

        ( 2 )基本语法

rsync -rvl     $pdir/$fname         $user@hadoop$host:$pdir

               命令 命令参数 要拷贝的文件路径 / 名称    目的用户 @ 主机 : 目的路径

               选项

-r 递归

-v 显示复制过程

-l 拷贝符号连接

        ( 3 )案例实操

               把本机 /opt/tmp 目录同步到 hadoop103 服务器的 root 用户下的 /opt/tmp 目录

               rsync -rvl /opt/tmp/*  root@hadoop103:/op  t/tmp



scp

1 ) scp 可以实现服务器与服务器之间的数据拷贝。

2 )案例实操

( 1 )将 hadoop101 中 /opt/module 和 /opt/software 文件拷贝到 hadoop102 、 hadoop103 和 hadoop104 上。

[root@hadoop101 /]# scp -r /opt/module/  root@hadoop102:/opt

[root@hadoop101 /]# scp -r /opt/software/  root@hadoop102:/opt

[root@hadoop101 /]# scp -r /opt/module/  root@hadoop103:/opt

[root@hadoop101 /]# scp -r /opt/software/  root@hadoop103:/opt

[root@hadoop101 /]# scp -r /opt/module/  root@hadoop104:/opt

[root@hadoop101 /]# scp -r /opt/software/  root@hadoop105:/opt

( 2 )将 192.168.1.102 服务器上的文件拷贝到当前用户下。

[root@hadoop101 opt]# scp  root@hadoop102:/etc/profile  /opt/tmp/

( 3 )实现两台远程机器之间的文件传输( hadoop103 主机文件拷贝到 hadoop104 主机上)

 [robot @hadoop102 test]$ scp robot @hadoop103:/opt/test/haha robot @hadoop104:/opt/test/

作者:涤生手记

链接:https://blog.csdn.net/qq_26442553/article/details/78695437

来源:CSDN
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。