2020-08-18 09:21发布
发现数据倾斜的时候，不要急于提高executor的资源，修改参数或是修改程序，首先要检查数据本身，是否存在异常数据。
1、数据问题造成的数据倾斜
第1，2种情况，直接对数据进行过滤即可（因为该数据对当前业务不会产生影响）。
第3种情况则需要进行一些特殊操作，常见的有以下几种做法
(1) 隔离执行，将异常的key过滤出来单独处理，最后与正常数据的处理结果进行union操作。
(2) 对key先添加随机值，进行操作后，去掉随机值，再进行一次操作。
(3) 使用reduceByKey 代替 groupByKey(reduceByKey用于对每个key对应的多个value进行merge操作，最重要的是它能够在本地先进行merge操作，并且merge操作可以通过函数自定义.)
(4) 使用map join。
1、null（空值）或是一些无意义的信息()之类的,大多是这个原因引起。
2、无效数据，大量重复的测试数据或是对结果影响不大的有效数据。
3、有效数据，业务导致的正常数据分布。
如果任务长时间卡在最后最后1个(几个)任务，首先要对key进行抽样分析，判断是哪些key造成的。选取key，对数据进行抽样，统计出现的次数，根据出现次数大小排序取出前几个。
比如: df.select("key").sample(false,0.1).(k=>(k,1)).reduceBykey(+).map(k=>(k.2,k.1)).sortByKey(false).take(10)
如果发现多数数据分布都较为平均，而个别数据比其他数据大上若干个数量级，则说明发生了数据倾斜。
找出异常的key
经过分析，倾斜的数据主要有以下三种情况:
解决办法
首先， Spark 非常好用。由于高级 API 剥离了对集群本身的关注，你可以专注于你所要做的计算本身， 只需在自己的笔记本电脑上就可以开发 Spark 应用。其次， Spark 很快，支持交互式使用和复杂算法。最后， Spark 是一个通用引擎，可用它来完成各种各样的运算...
现在企业中多数用的是相对稳定的Spark2.2.0版本。
Spark，是一种One Stack to rule them all的大数据计算框架，是一种基于内存计算的框架，是一种通用的大数据快速处理引擎。 这一站式的计算框架，包含了Spark RDD(这也是Spark Core用于离线批处理)、Spark SQL(交互式查询)、Spark Streaming(实时...
常用RDD算子（1）Action RDDforeach：遍历每个元素，无返回值，一般用在将结果存储到数据库中使用saveAsTextFile存储到hdfs，RDD每个partition存到hdfs的一个block块saveAsObjectFile：存储到hdfs，将每个partition的数据序列化后，以sequenceFile（序列化）...
主要功能：管理当前节点内存，CPU的使用状况，接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务，worker就类似于包工头，管理分配新进程，做计算的服务，相当于process服务。需要注意的是：1）worker会不会汇报当前信息给master，worker心...
1、RDD是一个分片的数据集合;2、RDD的函数针对每个分片进行计算;3、RDD之间是个依赖的集合;4、可选：key-value型RDD是根据哈希来分区的；5、可选：数据本地性优先计算。
在hadoop/bin目录下有yarn命令yarn application -kill
1.Spark SQLSpark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。Spark SQL支持多种数据源类型，例如Hive表、Parquet以及JSON等。Spark SQL不仅为Spark提供了一个SQL接口，还支持开发...
Spark SQL 在 Spark1.x 中和传统 SQL 不完全一致。但是在 Spark2.x 版本中遵循的美国的ANSI的SQL2003完全标准sql 。oracle和mysql都有自己的语法规则，平时所使用的 SQL 语句都不是标准 SQL 。平时用的 mysql 和 oracle 以及 hive，都是部分遵循标准SQL 。...
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name=OrderQZspark-shell --master yarn --deploy-mode client \--queue $realtime_queue \ #总的executors数 根据数据量与自己的集群资源来分配--num-executors...
Spark是一种快速、通用、可扩展的大数据分析引擎，于2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。Spark的结构：Spark生态系统已经发展成为一个包含多个子项目的集...
自己随意编写一份测试数据，所用的测试数据如下，需求是按照第一列的字母分组，然后按照第二列数据取出每一组内前N个数据，后面我分别列出了我使用的三种方案来实现该需求，不同方案在不同的场景下会有各自的优势 a 25b 36c 24d 45e 60a 33b 26c 47d 43e 62a...
把数据从redis读出来放到kafka里呗，然后用spark-streaming去读kafka的数据，或者写个程序从redis把数据读出来用socket或文件的形式传给spark-streaming，spark-streaming支持很多种源的方式
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 冬瓜 的问题《spark使用不当造成的数据倾斜怎么解决》','http://www.shouhuola.com/q-27394.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
发现数据倾斜的时候，不要急于提高executor的资源，修改参数或是修改程序，首先要检查数据本身，是否存在异常数据。
1、数据问题造成的数据倾斜
第1，2种情况，直接对数据进行过滤即可（因为该数据对当前业务不会产生影响）。
第3种情况则需要进行一些特殊操作，常见的有以下几种做法
(1) 隔离执行，将异常的key过滤出来单独处理，最后与正常数据的处理结果进行union操作。
(2) 对key先添加随机值，进行操作后，去掉随机值，再进行一次操作。
(3) 使用reduceByKey 代替 groupByKey(reduceByKey用于对每个key对应的多个value进行merge操作，最重要的是它能够在本地先进行merge操作，并且merge操作可以通过函数自定义.)
(4) 使用map join。
1、null（空值）或是一些无意义的信息()之类的,大多是这个原因引起。
2、无效数据，大量重复的测试数据或是对结果影响不大的有效数据。
3、有效数据，业务导致的正常数据分布。
如果任务长时间卡在最后最后1个(几个)任务，首先要对key进行抽样分析，判断是哪些key造成的。选取key，对数据进行抽样，统计出现的次数，根据出现次数大小排序取出前几个。
比如: df.select("key").sample(false,0.1).(k=>(k,1)).reduceBykey(+).map(k=>(k.2,k.1)).sortByKey(false).take(10)
如果发现多数数据分布都较为平均，而个别数据比其他数据大上若干个数量级，则说明发生了数据倾斜。
找出异常的key
经过分析，倾斜的数据主要有以下三种情况:
解决办法
相关问题推荐
首先， Spark 非常好用。由于高级 API 剥离了对集群本身的关注，你可以专注于你所要做的计算本身， 只需在自己的笔记本电脑上就可以开发 Spark 应用。其次， Spark 很快，支持交互式使用和复杂算法。最后， Spark 是一个通用引擎，可用它来完成各种各样的运算...
现在企业中多数用的是相对稳定的Spark2.2.0版本。
Spark，是一种One Stack to rule them all的大数据计算框架，是一种基于内存计算的框架，是一种通用的大数据快速处理引擎。 这一站式的计算框架，包含了Spark RDD(这也是Spark Core用于离线批处理)、Spark SQL(交互式查询)、Spark Streaming(实时...
常用RDD算子（1）Action RDDforeach：遍历每个元素，无返回值，一般用在将结果存储到数据库中使用saveAsTextFile存储到hdfs，RDD每个partition存到hdfs的一个block块saveAsObjectFile：存储到hdfs，将每个partition的数据序列化后，以sequenceFile（序列化）...
主要功能：管理当前节点内存，CPU的使用状况，接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务，worker就类似于包工头，管理分配新进程，做计算的服务，相当于process服务。需要注意的是：1）worker会不会汇报当前信息给master，worker心...
1、RDD是一个分片的数据集合;2、RDD的函数针对每个分片进行计算;3、RDD之间是个依赖的集合;4、可选：key-value型RDD是根据哈希来分区的；5、可选：数据本地性优先计算。
在hadoop/bin目录下有yarn命令yarn application -kill
1.Spark SQLSpark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。Spark SQL支持多种数据源类型，例如Hive表、Parquet以及JSON等。Spark SQL不仅为Spark提供了一个SQL接口，还支持开发...
Spark SQL 在 Spark1.x 中和传统 SQL 不完全一致。但是在 Spark2.x 版本中遵循的美国的ANSI的SQL2003完全标准sql 。oracle和mysql都有自己的语法规则，平时所使用的 SQL 语句都不是标准 SQL 。平时用的 mysql 和 oracle 以及 hive，都是部分遵循标准SQL 。...
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name=OrderQZspark-shell --master yarn --deploy-mode client \--queue $realtime_queue \ #总的executors数 根据数据量与自己的集群资源来分配--num-executors...
Spark是一种快速、通用、可扩展的大数据分析引擎，于2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。Spark的结构：Spark生态系统已经发展成为一个包含多个子项目的集...
自己随意编写一份测试数据，所用的测试数据如下，需求是按照第一列的字母分组，然后按照第二列数据取出每一组内前N个数据，后面我分别列出了我使用的三种方案来实现该需求，不同方案在不同的场景下会有各自的优势 a 25b 36c 24d 45e 60a 33b 26c 47d 43e 62a...
把数据从redis读出来放到kafka里呗，然后用spark-streaming去读kafka的数据，或者写个程序从redis把数据读出来用socket或文件的形式传给spark-streaming，spark-streaming支持很多种源的方式