Hive如何声明变量?

2021-03-18 20:36发布

9条回答
香蕉牛油果酸奶
2楼 · 2021-03-18 20:46

Hive的变量前面有一个命名空间,包括三个hiveconf,system,env,还有一个hivevar



1. hiveconf的命名空间指的是hive-site.xml下面的配置变量值。

2. system的命名空间是系统的变量,包括JVM的运行环境。

3. env的命名空间,是指环境变量,包括Shell环境下的变量信息,如HADOOP_HOME之类的


 


普通的变量可以使用

         --define key=value 

或者 --hivevar key=value

来声明,这都代表是hivevar,的变量。

如:

$ hive --define key=value


简写 hive -d key=value

$ hive --hivevar key=value


添加多个变量的时候如下:


Sql代码   

$ hive --define a='a' --define b='b'  

  


对于使用hivevar,前缀是可有可无的,如:


Sql代码   

hive> create table toss1(i int, ${hivevar:foo} string);  

等价于


Sql代码   

hive> create table toss2(i2 int, ${foo} string);  

  


但是对于使用命名空间如hiveconf,system,env的,前缀则不可少


在hive下面,可以通过

set;

或者

set -v;  

来查看现有环境的所有变量的值。加上 -v参数,可以获取到HDFS和MapReduce的环境变量信息。


 


一个简单的Sample


Sql代码   

hive> set CURRENT_DATE='2012-09-16';  

hive> select * from foo where day >= '${hiveconf:CURRENT_DATE}'  

similarly, you could pass on command line:  

 


hive -f xxx.hql


$ hive -hiveconf CURRENT_DATE='2012-09-16' -hiveconf CURRENT_DATE='2012-09-16' -f test.hql


 


hive -hiveconf mapred.job.queue.name=queue2 -e "set mapred.job.queue.name;"


无需指教
3楼 · 2021-03-19 08:42

为以下这个语句好像不能在hive下执行

SQL code?

1
2
3
4
5
6
7
DECLARE @Dt DATETIME='2016-01-01'
  
WHILE @Dt
BEGIN
    SELECT FROM 表 WHERE DAY BETWEEN @Dt AND @dt+1
    SET @Dt=@Dt+1


是你的小甜心呀
4楼 · 2021-03-19 09:27

普通的变量可以使用

         --define key=value 

或者 --hivevar key=value

来声明,这都代表是hivevar,的变量。

如:

$ hive --define key=value


简写 hive -d key=value

$ hive --hivevar key=value


添加多个变量的时候如下:


Sql代码   

$ hive --define a='a' --define b='b'  

  


对于使用hivevar,前缀是可有可无的,如:


Sql代码   

hive> create table toss1(i int, ${hivevar:foo} string);  

等价于


Sql代码   

hive> create table toss2(i2 int, ${foo} string);  

  


但是对于使用命名空间如hiveconf,system,env的,前缀则不可少


在hive下面,可以通过

set;

或者

set -v;  

来查看现有环境的所有变量的值。加上 -v参数,可以获取到HDFS和MapReduce的环境变量信息。


 



嘿呦嘿呦拔萝卜
5楼 · 2021-03-19 10:11

Hive的变量前面有一个命名空间,包括三个hiveconf,system,env,还有一个hivevar



1. hiveconf的命名空间指的是hive-site.xml下面的配置变量值。

2. system的命名空间是系统的变量,包括JVM的运行环境。

3. env的命名空间,是指环境变量,包括Shell环境下的变量信息,如HADOOP_HOME之类的


小磊子
6楼 · 2021-03-19 10:26

Dt ='2016-01-01'
 
WHILE ( ${Dt}
do
    SELECT * FROM 表 WHERE DAY BETWEEN ${Dt} AND ${${Dt}+1}
    Dt=${${Dt}+1}
done

是开心果呀 - 热爱生活
7楼 · 2021-03-19 10:46

您需要使用特殊的hiveconf进行变量替换。例如

hive> set CURRENT_DATE='2012-09-16';

hive> select * from foo where day >= '${hiveconf:CURRENT_DATE}'

同样,你可以传递命令行:

% hive -hiveconf CURRENT_DATE='2012-09-16' -f test.hql

请注,还有env和系统变量,因此您可以参考${env:USER}例如。

要查看所有可用变量,请从命令行运行

% hive -e 'set;'

或者从蜂巢提示符运行

hive> set;

更新: 我也开始使用hivevar变量,将它们放入hql片段中我可以使用source命令从hive CLI中包含(或从命令行传递-i选项)。这里的好处是,变量可以在有或没有hivevar前缀的情况下使用,并允许类似于全局和本地使用的东西。

所以,假设有一些setup.hql设置一个tablename变量:

set hivevar:tablename=mytable;

然后,我可以带入蜂巢:

hive> source /path/to/setup.hql;

并在查询中使用:

hive> select * from ${tablename}

要么

hive> select * from ${hivevar:tablename}

我还可以设置一个“本地”表名,这会影响$ {tablename}的使用,但不会影响$ {hivevar:tablename}

hive> set tablename=newtable;

hive> select * from ${tablename} -- uses 'newtable'

VS

hive> select * from ${hivevar:tablename} -- still uses the original 'mytable'

从CLI可能并不意味着太多,但可以在使用source的文件中使用hql ,但是在本地的其余部分中设置一些“本地”变量。


希希
8楼 · 2021-03-20 15:49

Hive的变量前面有一个命名空间,包括三个hiveconf,system,env,还有一个hivevar



1. hiveconf的命名空间指的是hive-site.xml下面的配置变量值。

2. system的命名空间是系统的变量,包括JVM的运行环境。

3. env的命名空间,是指环境变量,包括Shell环境下的变量信息,如HADOOP_HOME之类的



相关问题推荐

  • 什么是大数据时代?2021-01-13 21:23
    回答 100

    大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,而这个海量数据的时代则被称为大数据时代。随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结...

  • 回答 84

    Java和大数据的关系:Java是计算机的一门编程语言;可以用来做很多工作,大数据开发属于其中一种;大数据属于互联网方向,就像现在建立在大数据基础上的AI方向一样,他两不是一个同类,但是属于包含和被包含的关系;Java可以用来做大数据工作,大数据开发或者...

  • 回答 52
    已采纳

    学完大数据可以从事很多工作,比如说:hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位!不同的岗位,所具备的技术知识也是不一样...

  • 回答 29

    简言之,大数据是指大数据集,这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。大数据的特点:数据量大、数据种类多、 要求实时性强、数据所蕴藏的...

  • 回答 14

    tail -f的时候,发现一个奇怪的现象,首先 我在一个窗口中 tail -f test.txt 然后在另一个窗口中用vim编辑这个文件,增加了几行字符,并保存,这个时候发现第一个窗口中并没有变化,没有将最新的内容显示出来。tail -F,重复上面的实验过程, 发现这次有变化了...

  • 回答 18

    您好针对您的问题,做出以下回答,希望有所帮助!1、大数据行业还是有非常大的人才需求的,对于就业也有不同的岗位可选,比如大数据工程师,大数据运维,大数据架构师,大数据分析师等等,就业难就难在能否找到适合的工作,能否与你的能力和就业预期匹配。2、...

  • 回答 17

    最小的基本单位是Byte应该没多少人不知道吧,下面先按顺序给出所有单位:Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB,按照进率1024(2的十次方)计算:1Byte = 8 Bit1 KB = 1,024 Bytes 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576...

  • 回答 33

    大数据的定义。大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是对大量、动态、能持续的数据,通过运用新系统、新工具、新...

  • 回答 5

    MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL的版本:针对不同的用户,MySQL分为两种不同的版本:MySQL Community Server社区版本,免费,但是Mysql不提供...

  • mysql安装步骤mysql 2022-05-07 18:01
    回答 2

    mysql安装需要先使用yum安装mysql数据库的软件包 ;然后启动数据库服务并运行mysql_secure_installation去除安全隐患,最后登录数据库,便可完成安装

  • 回答 5

    1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike'port';4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...

  • 回答 5

    CREATE TABLE IF NOT EXISTS `runoob_tbl`(    `runoob_id` INT UNSIGNED AUTO_INCREMENT,    `runoob_title` VARCHAR(100) NOT NULL,    `runoob_author` VARCHAR(40) NOT NULL,    `submission_date` DATE,    PRI...

  • 回答 9

    学习多久,我觉得看你基础情况。1、如果原来什么语言也没有学过,也没有基础,那我觉得最基础的要先选择一种语言来学习,是VB,C..,pascal,看个人的喜好,一般情况下,选择C语言来学习。2、如果是有过语言的学习,我看应该一个星期差不多,因为语言的理念互通...

  • 回答 7

    添加语句 INSERT插入语句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查询插入语句: INSERT INTO 插入表 SELECT * FROM 查...

  • 回答 5

    看你什么岗位吧。如果是后端,只会CRUD。应该是可以找到实习的,不过公司应该不会太好。如果是数据库开发岗位,那这应该是不会找到的。

  • 回答 7

    查找数据列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name 

没有解决我的问题,去提问