数据迁移脚本： 
1、在原集群上创建，并设置相应权限 
hadoop  fs -mkdir /tmp/hive-export 
2、生成导出脚本 
hive -e "use fangyc;show tables " | awk '{printf "use fangyc;export table %s to @/tmp/hive-export/%s@;\n",$1,$1}' | sed "s/@/'/g" > export.hql 
fangyc:是数据库名，根据实际情况修改 
3、手工导出数据到hdfs 
hive -f export.hql 
命令查看下导出数据:hadoop fs -ls  /tmp/hive-export 


-4、下载hdfs数据到本地并传送到目标hadoop集群的/tmp/hive-export 目录 
//注意在目标集群上创建 /tmp/hive-export目录，并且设置相应的操作权限 
hdfs dfs -get /tmp/hive-export/*  //原集群操作 
hdfs dfs -put * /tmp/hive-export  //目标集群操作 


//单个表数据移动，有bug,此处可以使用distcp  源数据   目标数据 
//hadoop distcp hdfs://namenode1/tmp/hive-export/表名  hdfs://namenode2/tmp/hive-export/ 


5、在目标集群上构建 
构造导入语句 
cp export.hql import.hql  
sed -i 's/export table/import table/g' import.hql 
sed -i 's/ to / from /g' import.hql 
6、导入数据 

hive -f import.hql

分区特别处理（元数据出炉、分区数据导入）

先编辑 import.hql为单一表的操作，最好复制一份

然后执行hive -f import.hql，就是加在元数据

删除dt分区

hadoop fs -rm -r /user/hive/warehouse/zh000001_vrv.db/browselog_gw/dt*

上传本地备份数据中的所有dt到表中

hadoop fs -put  browselog_gw/dt*   /user/hive/warehouse/zh000001_vrv.db/browselog_gw/

1.元数据迁移

元数据迁移是非常重要的一部分，目前常用的迁移方法，大致上有两种，一个是，show create table获取创建table的sql语句，然后在新集群的hive上面执行对应的hive语句，创建表。第二个是使用import，import命令不仅仅可以迁移元数据，也迁移数据的，它会把元数据生成在一个文件里面，数据，直接的拷贝到import指定的文件夹里面。

2.数据的迁移

对于数据的迁移，常用的也是两种办法，区别在于两个集群是否联通，如果联通的话，可以使用hadoop distcp的方式来进行数据迁移，如果网络不联通的话，可以先，get到本地，然后经由本地上传到新的hadoop集群

1.元数据迁移

元数据迁移是非常重要的一部分，目前常用的迁移方法，大致上有两种，一个是，show create table获取创建table的sql语句，然后在新集群的hive上面执行对应的hive语句，创建表。第二个是使用import，import命令不仅仅可以迁移元数据，也迁移数据的，它会把元数据生成在一个文件里面，数据，直接的拷贝到import指定的文件夹里面。

2.数据的迁移

对于数据的迁移，常用的也是两种办法，区别在于两个集群是否联通，如果联通的话，可以使用hadoop distcp的方式来进行数据迁移，如果网络不联通的话，可以先，get到本地，然后经由本地上传到新的hadoop集群

1.show create 方法。

#!/bin/bash

# 打印database下面的表
hive -e "use $1;show tables;" > $1.txt
sed -i '1d' $1.txt

# 遍历表，获取他们的ddl语句
cat tables.txt |while read line
do
    hive -e "use $1;show create table $line" >> create_tables.txt
    echo ";" >> tablesDDL.txt
done

现在执行获取到的ddl文件,注意，对应的test的database需要先创建出来,在新集群上面执行下面的语句。

hive  -f create_tables.txt

到这里元数据已经完成了迁移。
2.使用import的方式进行元数据的迁移
这里也是书写脚本

#!/bin/bash

# import是针对表的mingl，所以这里创建存储表数据和元数据的hdfs文件夹
mkHdfsDir(){
        hdfs dfs -test -e  /test/$1/$2
        if [ $? -eq 0 ] ;then
                hdfs dfs -rm -r -f /test/$1/$2
                hdfs dfs -mkdir -p /test/$1/$2
        else
                hdfs dfs -mkdir /test/$1/$2
        fi
}

# 打印对应的datbase所有表
hive -e "use $1;show tables;" > $1.txt
#打印出来的第一行是 table_name，要进行删除
sed -i '1d' $1.txt

# 遍历所有的表,export数据，这里的$1是你要导出的database
cat $1.txt | while read line
do
        mkHdfsDir $1 $line
        echo "---------------------- export db $1 table $line ------------------------"
        hive -e  "use $1; export table $line to '/test/$1/$line';"
done

2.数据的迁移

对于数据的迁移，常用的也是两种办法，区别在于两个集群是否联通，如果联通的话，可以使用hadoop distcp的方式来进行数据迁移，如果网络不联通的话，可以先，get到本地，然后经由本地上传到新的hadoop集群
1.网络联通

hadoop distcp -skipcrccheck -update hdfs://linux121:9000/test hdfs://linux122:9000:/test

-skipcrccheck 省略crc检查，如果hadoop版本一样，可以不加，如果低版本向高版本迁移的话，最好带上
-update 增量更新，通过文件名称，大小比较，源文件和目标文件不同则更新
2.网络不联通

hdfs sdf -get /test
# 压缩减少传输
tar -zcvf  /test test.tar.gz
#解压
tar -zxvf  test.tar.gz  -C /test
# 上传到目标hadoop集群
hdfs  dfs -put  /test /test

3.元数据和数据产生关联

这一步取决于上面两边分别使用了什么。

1. 元数据使用show create table的方式，数据可以使用 hadoop distcp，这里注意表的目录和文件的目录要和之前的集群的保持一致，然后使用 msck方式分区修复

# 表会自动的扫描对应文件夹里面的数据，将其写到元数据里面，产生关联
msck  repair  table  

2.元数据使用show create table的方式，数据可以使用 export的方式，这个时候，应为表以建立好，使用import的方式，会把数据加载到创建表的文件夹里面，自动的产生关联

use test;import table 表名 from /test/;

3.元数据使用export的方式，这里可以知己的使用import恢复数据,比较推荐的是这一种

#!/bin/bash
# 遍历所有的表,import数据
cat $1.txt | while read line
do
        echo "---------------------- import db $1 table $line ------------------------"
        hive -e  "use $1;import table $line from '/test/default/$line';"
done