spark和hive是怎么整合的?

2020-09-01 09:15发布

spark和hive是怎么整合的?

spark和hive是怎么整合的?

2条回答
我是大脸猫
2020-09-01 09:36

装hive 
解压hive到指定的目录中,一般解压在/usr/local/hive

tar -zxvf hive-xxx.tar.gz1
  • 1

配置系统环境 
这里写图片描述

配置hive-env.sh的环境 
配置hadoop的家目录,配置hive的家目录,已及配置hive配置文件的目录

这里写图片描述

配置hive-site.xml

hive.metastore.localtruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.1.3:3306/hivejavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.option.ConnectionUserNamerootjavax.jdo.option.ConnectionPasswordmysql123456789101112131415161718192021222324252627282930

注意,我用的是windows下的mysql,还有,将mysql的驱动jar包放在hive的lib下

启动hive,启动之前必须初始化数据库:我初始化的是mysql数据库

./schemaTool   --initSchema  --dbType mysql1
  • 1

启动hive

./hive1
  • 1

这里写图片描述

HDFS上面也有建好的数据表

这里写图片描述

启动spark,启动之前将mysql的驱动包,加入到spark的lib下

这里写图片描述

启动spark-shell

这里写图片描述

建表:

这里写图片描述

HDFS上面也有spark建好的数据表

这里写图片描述

注意: 
1.需要把配置好的hive-site.xml文件copy到spark的安装目录的conf下。 
2.在spark的conf下的spark-env.sh中添加hive配置:

这里写图片描述

Spark整合hive完毕

https://blog.csdn.net/jin6872115/article/details/80806356

一周热门 更多>