Hive导出数据有几种方式？如何导出数据

2020-10-09 14:35发布

站内问答 / 大数据
2104 5 5
发送
5条回答
水默
2楼 · 2020-10-09 15:11

根据导出的地方不一样，将这些方式分为三种： 
（1）、导出到本地文件系统； 
（2）、导出到HDFS中； 
（3）、导出到Hive的另一个表中。 

我想吃肉
3楼 · 2020-10-09 15:29

今天我们谈谈Hive中的三种不同的数据导出方式。 
根据导出的地方不一样，将这些方式分为三种： 
（1）、导出到本地文件系统； 
（2）、导出到HDFS中； 
（3）、导出到Hive的另一个表中。 
为了避免单纯的文字，我将一步一步地用命令进行说明。

一、导出到本地文件系统

hive> insert overwrite local directory '/home/wyp/wyp'
    > select * from wyp;12

这条HQL的执行需要启用Mapreduce完成，运行完这条语句之后，将会在本地文件系统的/home/wyp/wyp目录下生成文件，这个文件是Reduce产生的结果（这里生成的文件名是000000_0），我们可以看看这个文件的内容：

[wyp@master ~/wyp]$ vim 000000_05^Awyp1^A23^A1312121212126^Awyp2^A24^A1345353535357^Awyp3^A25^A1324535353538^Awyp4^A26^A1542434343551^Awyp^A25^A131888888888882^Atest^A30^A138888888888883^Azs^A34^A89931412112345678

可以看出，这就是wyp表中的所有数据。数据中的列与列之间的分隔符是^A(ascii码是\00001)。

和导入数据到Hive不一样，不能用insert into来将数据导出：

hive> insert into local directory ‘/home/wyp/wyp’

select * from wyp; 
NoViableAltException(79@[]) 
at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:683) 
at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:30667) 
at org.apache.hadoop.hive.ql.parse.HiveParser.regular_body(HiveParser.java:28421) 
at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatement(HiveParser.java:28306) 
at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatement[removed]HiveParser.java:28100) 
at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:1213) 
at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:928) 
at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:190) 
at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:418) 
at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:337) 
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:902) 
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259) 
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216) 
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413) 
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:756) 
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) 
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
at java.lang.reflect.Method.invoke(Method.java:597) 
at org.apache.hadoop.util.RunJar.main(RunJar.java:212) 
FAILED: ParseException line 1:12 missing TABLE at ‘local’ near ‘local’ in select clause 
line 1:18 cannot recognize input near ‘directory’ ”/home/wyp/wyp” ‘select’ in select clause

二、导出到HDFS中 
和导入数据到本地文件系统一样的简单，可以用下面的语句实现：

hive> insert overwrite directory '/home/wyp/hdfs'
    > select * from wyp;12

将会在HDFS的/home/wyp/hdfs目录下保存导出来的数据。注意，和导出文件到本地文件系统的HQL少一个local，数据的存放路径就不一样了。

三、导出到Hive的另一个表中

这也是Hive的数据导入方式，如下操作：

hive> insert into table test
    > partition (age='25')
    > select id, name, tel
    > from wyp;#####################################################################
           这里输出了一堆Mapreduce任务信息，这里省略
#####################################################################Total MapReduce CPU Time Spent: 1 seconds 310 msec
OK
Time taken: 19.125 seconds

hive> select * from test;
OK5       wyp1    131212121212    256       wyp2    134535353535    257       wyp3    132453535353    258       wyp4    154243434355    251       wyp     13188888888888  252       test    13888888888888  253       zs      899314121       25Time taken: 0.126 seconds, Fetched: 7 row(s)123456789101112131415161718192021

细心的读者可能会问，怎么导入数据到文件中，数据的列之间为什么不是wyp表设定的列分隔符呢？其实在Hive 0.11.0版本之间，数据的导出是不能指定列之间的分隔符的，只能用默认的列分隔符，也就是上面的^A来分割，这样导出来的数据很不直观，看起来很不方便！ 
如果你用的Hive版本是0.11.0，那么你可以在导出数据的时候来指定列之间的分隔符。


浅浅77
4楼 · 2020-10-09 16:06

Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：

  • 导出到本地文件系统；

  • 导出到HDFS中；

  • 导出到Hive的另一个表中。

为了避免单纯的文字，我将一步一步地用命令进行说明。

  • 1 导出到本地文件系统

  • 2 导出到HDFS中

  • 3 导出到Hive的另一个表中

导出到本地文件系统

　　
hive> insert overwrite local directory '/home/wyp/wyp'
        > select * from wyp;

这条HQL的执行需要启用Mapreduce完成，运行完这条语句之后，将会在本地文件系统的/home/wyp/wyp目录下生成文件，这个文件是Reduce产生的结果（这里生成的文件名是000000_0），我们可以看看这个文件的内容：

[wyp@master ~/wyp]$ vim 000000_0
5^Awyp1^A23^A131212121212
6^Awyp2^A24^A134535353535
7^Awyp3^A25^A132453535353
8^Awyp4^A26^A154243434355
1^Awyp^A25^A13188888888888
2^Atest^A30^A13888888888888
3^Azs^A34^A899314121

可以看出，这就是wyp表中的所有数据。数据中的列与列之间的分隔符是 ^A (ascii码是 \00001 )。

和导入数据到Hive不一样，不能用 insert into 来将数据导出：

　　
hive> insert into local directory '/home/wyp/wyp'
     > select * from wyp;
NoViableAltException(79@[])
         atorg.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:683)
         at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:30667)
         at org.apache.hadoop.hive.ql.parse.HiveParser.regular_body(HiveParser.java:28421)
         at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatement(HiveParser.java:28306)
         at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatement[removed]HiveParser.java:28100)
         at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:1213)
         at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:928)
         at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:190)
         at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:418)
         at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:337)
         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:902)
         at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259)
         at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216)
         at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)
         at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:756)
         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
         at java.lang.reflect.Method.invoke(Method.java:597)
         at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
FAILED: ParseException line 1:12 missing TABLE at 'local' near 'local' in select clause
line 1:18 cannot recognize input near 'directory' '' /home/wyp/wyp '' 'select' in select clause

导出到HDFS中

和导入数据到本地文件系统一样的简单，可以用下面的语句实现：

　　
hive> insert overwrite directory '/home/wyp/hdfs'
     > select * from wyp;

将会在HDFS的 /home/wyp/hdfs 目录下保存导出来的数据。注意，和导出文件到本地文件系统的HQL少一个local，数据的存放路径就不一样了。

导出到Hive的另一个表中

其实这个在《Hive几种数据导入方式》文中就用到了，这也是Hive的数据导入方式，如下操作：

　
hive> insert into table test
     > partition (age= '25' )
     > select id, name , tel
     > from wyp;
#####################################################################
            这里输出了一堆Mapreduce任务信息，这里省略
#####################################################################
Total MapReduce CPU Time Spent: 1 seconds 310 msec
OK
Time taken: 19.125 seconds
 
hive> select * from test;
OK
5       wyp1    131212121212    25
6       wyp2    134535353535    25
7       wyp3    132453535353    25
8       wyp4    154243434355    25
1       wyp     13188888888888  25
2       test    13888888888888  25
3       zs      899314121       25
Time taken: 0.126 seconds, Fetched: 7 row(s)

细心的读者可能会问，怎么导入数据到文件中，数据的列之间为什么不是wyp表设定的列分隔符呢？其实在Hive 0.11.0版本之间，数据的导出是不能指定列之间的分隔符的，只能用默认的列分隔符，也就是上面的^A来分割，这样导出来的数据很不直观，看起来很不方便！

如果你用的Hive版本是0.11.0，那么你可以在导出数据的时候来指定列之间的分隔符（可以参见本博客的《Hive0.11查询结果保存到文件并指定列之间的分隔符》），操作如下：

hive> insert overwrite local directory '/home/iteblog/local'
     > row format delimited
     > fields terminated by '\t'
     > select * from wyp;
 
[wyp@master ~/ local ]$ vim 000000_0
5       wyp1    23      131212121212
6       wyp2    24      134535353535
7       wyp3    25      132453535353
8       wyp4    26      154243434355
1       wyp     25      13188888888888
2       test    30      13888888888888
3       zs      34      899314121

这个很不错吧！

其实，我们还可以用hive的 -e 和 -f 参数来导出数据。其中-e 表示后面直接接带双引号的sql语句；而-f是接一个文件，文件的内容为一个sql语句，如下：

　　
[wyp@master ~/ local ]$  hive -e "select * from wyp" >> local /wyp.txt
[wyp@master ~/ local ]$  cat wyp.txt
5       wyp1    23      131212121212
6       wyp2    24      134535353535
7       wyp3    25      132453535353
8       wyp4    26      154243434355
1       wyp     25      13188888888888
2       test    30      13888888888888
3       zs      34      899314121

得到的结果也是用 \t 分割的。也可以用-f参数实现：

　　
[wyp@master ~/ local ]$ cat wyp.sql
select * from wyp
[wyp@master ~/ local ]$ hive -f wyp.sql >> local /wyp2.txt

上述语句得到的结果也是 \t 分割的。


kevin
5楼 · 2020-10-09 16:59

（1）、导出到本地文件系统； 
（2）、导出到HDFS中； 
（3）、导出到Hive的另一个表中。 

我的网名不再改
6楼 · 2020-10-11 15:09

1.使用insert导出

这种方式的优点在于既可以导出到hdfs上还可以导出到本地目录

下面以导出emp表中数据为例

 insert overwrite local directory "/opt/module/data/export/emp" 如果去除local,则是导出到hdfs上

row format delimited fields terminated by "\t"   (格式,可选)

 select * from emp;

导出结果

 

2.使用export导出

这种方式只能导出到hdfs上

export table emp to "/emp";

但是速度比较快


相关问题推荐

  • 什么是大数据时代？2021-01-13 21:23
    回答 100

    大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，而这个海量数据的时代则被称为大数据时代。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结...

  • Java和大数据有什么关系？2021-01-13 21:25
    回答 84

    Java和大数据的关系：Java是计算机的一门编程语言；可以用来做很多工作，大数据开发属于其中一种；大数据属于互联网方向，就像现在建立在大数据基础上的AI方向一样，他两不是一个同类，但是属于包含和被包含的关系；Java可以用来做大数据工作，大数据开发或者...

  • 大数据方向学完，都可以从事什么岗位2020-11-19 10:19
    回答 52
    已采纳

    学完大数据可以从事很多工作，比如说：hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位！不同的岗位，所具备的技术知识也是不一样...

  • 大数据的基本特征有哪些？2021-05-07 19:10
    回答 29

    简言之，大数据是指大数据集，这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。大数据的特点：数据量大、数据种类多、 要求实时性强、数据所蕴藏的...

  • tailf、tail -f、tail -F三者区别2020-06-09 18:47
    回答 14

    tail -f的时候，发现一个奇怪的现象,首先 我在一个窗口中 tail -f test.txt 然后在另一个窗口中用vim编辑这个文件，增加了几行字符，并保存，这个时候发现第一个窗口中并没有变化，没有将最新的内容显示出来。tail -F，重复上面的实验过程， 发现这次有变化了...

  • 听说大专学历学大数据不好找工作是么？2020-06-17 13:52
    回答 18

    您好针对您的问题，做出以下回答，希望有所帮助！1、大数据行业还是有非常大的人才需求的，对于就业也有不同的岗位可选，比如大数据工程师，大数据运维，大数据架构师，大数据分析师等等，就业难就难在能否找到适合的工作，能否与你的能力和就业预期匹配。2、...

  • 大数据的数据单位有哪些？2021-05-07 19:12
    回答 17

    最小的基本单位是Byte应该没多少人不知道吧，下面先按顺序给出所有单位：Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，按照进率1024（2的十次方）计算：1Byte = 8 Bit1 KB = 1,024 Bytes　1 MB = 1,024 KB = 1,048,576 Bytes　1 GB = 1,024 MB = 1,048,576...

  • 什么是“大数据”，如何理解“大数据”？2021-01-13 21:23
    回答 33

    大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新...

  • 什么是MySQL?MySQL为什么有两个版本?mysql 2022-05-07 18:02
    回答 5

    MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL的版本：针对不同的用户，MySQL分为两种不同的版本：MySQL Community Server社区版本，免费，但是Mysql不提供...

  • mysql安装步骤mysql 2022-05-07 18:01
    回答 2

    mysql安装需要先使用yum安装mysql数据库的软件包 ；然后启动数据库服务并运行mysql_secure_installation去除安全隐患，最后登录数据库，便可完成安装

  • mysql查看数据库命令mysql 2022-04-20 18:59
    回答 5

    1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike'port';4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...

  • mysql数据库怎么创建表mysql 2022-04-20 18:58
    回答 5

    CREATE TABLE IF NOT EXISTS `runoob_tbl`(    `runoob_id` INT UNSIGNED AUTO_INCREMENT,    `runoob_title` VARCHAR(100) NOT NULL,    `runoob_author` VARCHAR(40) NOT NULL,    `submission_date` DATE,    PRI...

  • 数据库增删改查要学多久增删改查 2022-04-02 17:11
    回答 9

    学习多久，我觉得看你基础情况。1、如果原来什么语言也没有学过，也没有基础，那我觉得最基础的要先选择一种语言来学习，是VB,C..,pascal，看个人的喜好，一般情况下，选择C语言来学习。2、如果是有过语言的学习，我看应该一个星期差不多，因为语言的理念互通...

  • 常用的四种sql增删改查增删改查 2022-04-02 17:07
    回答 7

    添加语句 INSERT插入语句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查询插入语句： INSERT INTO 插入表 SELECT * FROM 查...

  • MySQL只会基础的增删改查实习期够用么？增删改查 2022-04-01 19:09
    回答 5

    看你什么岗位吧。如果是后端，只会CRUD。应该是可以找到实习的，不过公司应该不会太好。如果是数据库开发岗位，那这应该是不会找到的。

  • MySQL的增删改查语句总结增删改查 2022-04-01 19:01
    回答 7

    查找数据列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name 

没有解决我的问题，去提问