2

spark系列2:spark集群的配置与使用

  •  天天 天天 发布于 Spark
  • 1032次浏览
  • 0人收藏
  • 2021-03-30 20:20

2. Spark 集群搭建目标从 Spark 的集群架构开始, 理解分布式环境, 以及 Spark 的运行原理理解 Spark 的集群搭建, 包括高可用的搭建方式2.1. Spark 集群结构目标通过应用运行流程, 理解分布式调度的基础概念 Spark 如何将程序运行在一个集群中?Spark 自身是...

0

spark系列1:spark的前世今生

  •  天天 天天 发布于 Spark
  • 801次浏览
  • 0人收藏
  • 2021-03-30 20:16

1.1. Spark是什么目标了解 Spark 的历史和产生原因, 从而浅显的理解 Spark 的作用Spark的历史2009 年由加州大学伯克利分校 AMPLab 开创2010 年通过BSD许可协议开源发布2013 年捐赠给Apache软件基金会并切换开源协议到切换许可协议至 Apache2.02...

1

Spark 出现的问题及其解决方案

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

一文教你快速解决Spark数据倾斜!

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (4) | JVM 调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (3) | Shuffle 调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (2) | 算子调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (1) | 常规性能调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

广播变量

  •  yangzp yangzp 发布于 Spark
  • 858次浏览
  • 0人收藏
  • 2020-05-17 09:43

广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值,以供一个或多个 Spark 操作使用。比如,如果你的应用需要向所有节点发送一个较大的只读查询表,甚至是机器学习算法中的一个很大的特征向量,广播变量用起 来都很顺手。 传统方式下,Spa...