2

spark系列2：spark集群的配置与使用

  • 天天 天天 发布于 Spark
  • 898次浏览
  • 0人收藏
  • 2021-03-30 20:20

2. Spark 集群搭建目标从 Spark 的集群架构开始, 理解分布式环境, 以及 Spark 的运行原理理解 Spark 的集群搭建, 包括高可用的搭建方式2.1. Spark 集群结构目标通过应用运行流程, 理解分布式调度的基础概念 Spark 如何将程序运行在一个集群中?Spark 自身是...

0

spark系列1：spark的前世今生

  • 天天 天天 发布于 Spark
  • 687次浏览
  • 0人收藏
  • 2021-03-30 20:16

1.1. Spark是什么目标了解 Spark 的历史和产生原因, 从而浅显的理解 Spark 的作用Spark的历史2009 年由加州大学伯克利分校 AMPLab 开创2010 年通过BSD许可协议开源发布2013 年捐赠给Apache软件基金会并切换开源协议到切换许可协议至 Apache2.02...

1

Spark 出现的问题及其解决方案

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

一文教你快速解决Spark数据倾斜！

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (4) | JVM 调优

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (3) | Shuffle 调优

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (2) | 算子调优

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (1) | 常规性能调优

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

广播变量

  • yangzp yangzp 发布于 Spark
  • 750次浏览
  • 0人收藏
  • 2020-05-17 09:43

广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值，以供一个或多个 Spark 操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，甚至是机器学习算法中的一个很大的特征向量，广播变量用起 来都很顺手。 传统方式下，Spa...

  收获成功从分享经验、分享知识开始！

写文章