2021-01-28 20:55发布
1 首先安装sqoop,如果你使用的是clouder分发版的话就非常简单 # yum install sqoop 如果用官方版本的话 # cd /etc/yum.repos.d # wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo # yum -y install sqoop sqoop就会安装完成2 使用sqoop 首先将mysql-connector-java-5.1.16-bin.jar文件复制到/usr/lib/sqoop/lib文件夹下 3 导入导出数据库 1)列出mysql数据库中的所有数据库命令 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 2)连接mysql并列出数据库中的表命令 # sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码 3)将关系型数据的表结构复制到hive中 sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test其中 --table username为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称 4)从关系数据库导入文件到hive中sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-import
5)将hive中的表数据导入到mysql中
./sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=2011-08-03
首先安装sqoop,如果你使用的是clouder分发版的话就非常简单 # yum install sqoop 如果用官方版本的话 # cd /etc/yum.repos.d # wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo # yum -y install sqoop sqoop就会安装完成2 使用sqoop 首先将mysql-connector-java-5.1.16-bin.jar文件复制到/usr/lib/sqoop/lib文件夹下 3 导入导出数据库 1)列出mysql数据库中的所有数据库命令 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 2)连接mysql并列出数据库中的表命令 # sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码 3)将关系型数据的表结构复制到hive中 sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test其中 --table username为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称 4)从关系数据库导入文件到hive中sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-import
百度一下
重新启动软件
1、Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制;Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递2、kettle有图形化的操作界面,只需要描述你想做什...
1.sqoop简介 sqoop是一款对数据导入和导出的软件导入:是将RDBMS关系型数据库中的数据导入到hadoop集群中(hbase\hive\hdfs....)导出:是将hdfs集群环境中的数据导出到RDBMS关系型数据库中2.全量导入2.1RDBMS--->hdfs导入/{%sqoophome}/bin/sqoop import --co...
sqoop的全称:sql-to-hadoopsqoop,Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导...
Sqoop在import时,需要制定split-by参数。Sqoop根据不同的split-by参数值来进行切分,然后将切分出来的区域分配到不同map中。每个map中再处理数据库中获取的一行一行的值,写入到HDFS中。同时split-by根据不同的参数类型有不同的切分方法,如比较简单的int型,...
最多设置5个标签!
1 首先安装sqoop,如果你使用的是clouder分发版的话就非常简单
# yum install sqoop
如果用官方版本的话
# cd /etc/yum.repos.d
# wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo
# yum -y install sqoop
sqoop就会安装完成
2 使用sqoop
首先将mysql-connector-java-5.1.16-bin.jar文件复制到/usr/lib/sqoop/lib文件夹下
3 导入导出数据库
1)列出mysql数据库中的所有数据库命令
# sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456
2)连接mysql并列出数据库中的表命令
# sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码
3)将关系型数据的表结构复制到hive中
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
4)从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-import
5)将hive中的表数据导入到mysql中
./sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=2011-08-03
首先安装sqoop,如果你使用的是clouder分发版的话就非常简单
# yum install sqoop
如果用官方版本的话
# cd /etc/yum.repos.d
# wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo
# yum -y install sqoop
sqoop就会安装完成
2 使用sqoop
首先将mysql-connector-java-5.1.16-bin.jar文件复制到/usr/lib/sqoop/lib文件夹下
3 导入导出数据库
1)列出mysql数据库中的所有数据库命令
# sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456
2)连接mysql并列出数据库中的表命令
# sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码
3)将关系型数据的表结构复制到hive中
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
4)从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-import
5)将hive中的表数据导入到mysql中
./sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=2011-08-03
相关问题推荐
百度一下
重新启动软件
1、Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制;Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递2、kettle有图形化的操作界面,只需要描述你想做什...
1.sqoop简介 sqoop是一款对数据导入和导出的软件导入:是将RDBMS关系型数据库中的数据导入到hadoop集群中(hbase\hive\hdfs....)导出:是将hdfs集群环境中的数据导出到RDBMS关系型数据库中2.全量导入2.1RDBMS--->hdfs导入/{%sqoophome}/bin/sqoop import --co...
sqoop的全称:sql-to-hadoopsqoop,Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导...
Sqoop在import时,需要制定split-by参数。Sqoop根据不同的split-by参数值来进行切分,然后将切分出来的区域分配到不同map中。每个map中再处理数据库中获取的一行一行的值,写入到HDFS中。同时split-by根据不同的参数类型有不同的切分方法,如比较简单的int型,...