2020-06-16 10:42发布
一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径/data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看启动选项--master MASTER_URL 指定master url--executor-memory MEM 每个executor的内存，默认为1G--total-executor-cores NUM 所有executor的总核数-e
二、Spark sql对hive支持的功能1、查询语句：SELECT GROUP BY ORDER BY CLUSTER BY SORT BY2、hive操作运算：1) 关系运算：= ==, <>, <, >, >=, <=2) 算术运算：+, -, *, /, %3) 逻辑运算：AND, &&, OR, ||4) 复杂的数据结构5) 数学函数：(sign, ln, cos, etc)6) 字符串函数：3、 UDF4、 UDAF
CDH内嵌Spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！so，就手动实现支持spark-sql的功能吧
1.下载spark的包
http://www.apache.org/ -》 右上角download -》 HTTP http://apache.fayea.com/ -》 http://apache.fayea.com/spark/ -》http://apache.fayea.com/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz2.解压spark包spark-1.6.0-bin-hadoop2.63.获取spark包lib中的spark-assembly-1.6.0-hadoop2.6.0.jar，4.在cdh集群中找一个点安装原生spark，可以放到cdh的安装目录/opt/cloudera/parcels/CDH/lib/中5.将spark包中的conf中的配置文件替换成其他cdh spark节点中spark的配置（/etc/spark/conf/）6.在cm管理界面-spark界面-配置中修改spark-defaults.conf（Spark Client Advanced Configuration Snippet (Safety Valve) for spark-conf/spark-defaults.conf），添加spark.yarn.jar属性，值为spark-assembly-1.6.0-hadoop2.6.0.jar在hdfs上的路径（spark.yarn.jar=/spark_jars/spark-assembly-1.6.0-hadoop2.6.0.jar）；在spark-env.sh中添加HADOOP_CONF_DIR=$HADOOP_CONF_DIR:/etc/Hive/confexport HADOOP_CONF_DIR。保存修改，部署客户端配置，重启spark集群，拷贝配置到原生的spark配置中7.启动spark sql server：在原生spark节点k3执行---》sh /opt/cloudera/parcels/CDH/lib/spark/sbin/start-thriftserver.sh 8.在任一安装spark节点执行beeline -u jdbc:hive2://k3:10000/default 进入spark sql命令行模式。
首先， Spark 非常好用。由于高级 API 剥离了对集群本身的关注，你可以专注于你所要做的计算本身， 只需在自己的笔记本电脑上就可以开发 Spark 应用。其次， Spark 很快，支持交互式使用和复杂算法。最后， Spark 是一个通用引擎，可用它来完成各种各样的运算...
现在企业中多数用的是相对稳定的Spark2.2.0版本。
Spark，是一种One Stack to rule them all的大数据计算框架，是一种基于内存计算的框架，是一种通用的大数据快速处理引擎。 这一站式的计算框架，包含了Spark RDD(这也是Spark Core用于离线批处理)、Spark SQL(交互式查询)、Spark Streaming(实时...
常用RDD算子（1）Action RDDforeach：遍历每个元素，无返回值，一般用在将结果存储到数据库中使用saveAsTextFile存储到hdfs，RDD每个partition存到hdfs的一个block块saveAsObjectFile：存储到hdfs，将每个partition的数据序列化后，以sequenceFile（序列化）...
主要功能：管理当前节点内存，CPU的使用状况，接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务，worker就类似于包工头，管理分配新进程，做计算的服务，相当于process服务。需要注意的是：1）worker会不会汇报当前信息给master，worker心...
1、RDD是一个分片的数据集合;2、RDD的函数针对每个分片进行计算;3、RDD之间是个依赖的集合;4、可选：key-value型RDD是根据哈希来分区的；5、可选：数据本地性优先计算。
在hadoop/bin目录下有yarn命令yarn application -kill
1.Spark SQLSpark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。Spark SQL支持多种数据源类型，例如Hive表、Parquet以及JSON等。Spark SQL不仅为Spark提供了一个SQL接口，还支持开发...
Spark SQL 在 Spark1.x 中和传统 SQL 不完全一致。但是在 Spark2.x 版本中遵循的美国的ANSI的SQL2003完全标准sql 。oracle和mysql都有自己的语法规则，平时所使用的 SQL 语句都不是标准 SQL 。平时用的 mysql 和 oracle 以及 hive，都是部分遵循标准SQL 。...
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name=OrderQZspark-shell --master yarn --deploy-mode client \--queue $realtime_queue \ #总的executors数 根据数据量与自己的集群资源来分配--num-executors...
Spark是一种快速、通用、可扩展的大数据分析引擎，于2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。Spark的结构：Spark生态系统已经发展成为一个包含多个子项目的集...
自己随意编写一份测试数据，所用的测试数据如下，需求是按照第一列的字母分组，然后按照第二列数据取出每一组内前N个数据，后面我分别列出了我使用的三种方案来实现该需求，不同方案在不同的场景下会有各自的优势 a 25b 36c 24d 45e 60a 33b 26c 47d 43e 62a...
把数据从redis读出来放到kafka里呗，然后用spark-streaming去读kafka的数据，或者写个程序从redis把数据读出来用socket或文件的形式传给spark-streaming，spark-streaming支持很多种源的方式
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 小冰块儿 的问题《为什么cdh 放弃了 spark-sql命令？》','http://www.shouhuola.com/q-19382.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径/data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看启动选项--master MASTER_URL 指定master url--executor-memory MEM 每个executor的内存，默认为1G--total-executor-cores NUM 所有executor的总核数-e
二、Spark sql对hive支持的功能1、查询语句：SELECT GROUP BY ORDER BY CLUSTER BY SORT BY2、hive操作运算：1) 关系运算：= ==, <>, <, >, >=, <=2) 算术运算：+, -, *, /, %3) 逻辑运算：AND, &&, OR, ||4) 复杂的数据结构5) 数学函数：(sign, ln, cos, etc)6) 字符串函数：3、 UDF4、 UDAF
CDH内嵌Spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！so，就手动实现支持spark-sql的功能吧
1.下载spark的包
http://www.apache.org/ -》 右上角download -》 HTTP http://apache.fayea.com/ -》 http://apache.fayea.com/spark/ -》http://apache.fayea.com/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
2.解压spark包spark-1.6.0-bin-hadoop2.6
3.获取spark包lib中的spark-assembly-1.6.0-hadoop2.6.0.jar，
4.在cdh集群中找一个点安装原生spark，可以放到cdh的安装目录/opt/cloudera/parcels/CDH/lib/中
5.将spark包中的conf中的配置文件替换成其他cdh spark节点中spark的配置（/etc/spark/conf/）
6.在cm管理界面-spark界面-配置中修改spark-defaults.conf（Spark Client Advanced Configuration Snippet (Safety Valve) for spark-conf/spark-defaults.conf），添加spark.yarn.jar属性，值为spark-assembly-1.6.0-hadoop2.6.0.jar在hdfs上的路径（spark.yarn.jar=/spark_jars/spark-assembly-1.6.0-hadoop2.6.0.jar）；在spark-env.sh中添加HADOOP_CONF_DIR=$HADOOP_CONF_DIR:/etc/Hive/conf
export HADOOP_CONF_DIR。保存修改，部署客户端配置，重启spark集群，拷贝配置到原生的spark配置中
7.启动spark sql server：在原生spark节点k3执行---》sh /opt/cloudera/parcels/CDH/lib/spark/sbin/start-thriftserver.sh
8.在任一安装spark节点执行beeline -u jdbc:hive2://k3:10000/default 进入spark sql命令行模式。
相关问题推荐
首先， Spark 非常好用。由于高级 API 剥离了对集群本身的关注，你可以专注于你所要做的计算本身， 只需在自己的笔记本电脑上就可以开发 Spark 应用。其次， Spark 很快，支持交互式使用和复杂算法。最后， Spark 是一个通用引擎，可用它来完成各种各样的运算...
现在企业中多数用的是相对稳定的Spark2.2.0版本。
Spark，是一种One Stack to rule them all的大数据计算框架，是一种基于内存计算的框架，是一种通用的大数据快速处理引擎。 这一站式的计算框架，包含了Spark RDD(这也是Spark Core用于离线批处理)、Spark SQL(交互式查询)、Spark Streaming(实时...
常用RDD算子（1）Action RDDforeach：遍历每个元素，无返回值，一般用在将结果存储到数据库中使用saveAsTextFile存储到hdfs，RDD每个partition存到hdfs的一个block块saveAsObjectFile：存储到hdfs，将每个partition的数据序列化后，以sequenceFile（序列化）...
主要功能：管理当前节点内存，CPU的使用状况，接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务，worker就类似于包工头，管理分配新进程，做计算的服务，相当于process服务。需要注意的是：1）worker会不会汇报当前信息给master，worker心...
1、RDD是一个分片的数据集合;2、RDD的函数针对每个分片进行计算;3、RDD之间是个依赖的集合;4、可选：key-value型RDD是根据哈希来分区的；5、可选：数据本地性优先计算。
在hadoop/bin目录下有yarn命令yarn application -kill
1.Spark SQLSpark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。Spark SQL支持多种数据源类型，例如Hive表、Parquet以及JSON等。Spark SQL不仅为Spark提供了一个SQL接口，还支持开发...
Spark SQL 在 Spark1.x 中和传统 SQL 不完全一致。但是在 Spark2.x 版本中遵循的美国的ANSI的SQL2003完全标准sql 。oracle和mysql都有自己的语法规则，平时所使用的 SQL 语句都不是标准 SQL 。平时用的 mysql 和 oracle 以及 hive，都是部分遵循标准SQL 。...
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name=OrderQZspark-shell --master yarn --deploy-mode client \--queue $realtime_queue \ #总的executors数 根据数据量与自己的集群资源来分配--num-executors...
Spark是一种快速、通用、可扩展的大数据分析引擎，于2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。Spark的结构：Spark生态系统已经发展成为一个包含多个子项目的集...
自己随意编写一份测试数据，所用的测试数据如下，需求是按照第一列的字母分组，然后按照第二列数据取出每一组内前N个数据，后面我分别列出了我使用的三种方案来实现该需求，不同方案在不同的场景下会有各自的优势 a 25b 36c 24d 45e 60a 33b 26c 47d 43e 62a...
把数据从redis读出来放到kafka里呗，然后用spark-streaming去读kafka的数据，或者写个程序从redis把数据读出来用socket或文件的形式传给spark-streaming，spark-streaming支持很多种源的方式