spark主要学习哪些知识点呢

2020-05-19 10:06发布

1条回答
闫栢汌
2020-05-19 14:08

我这里先列出一些基本的,你参考下:

sparkcore:

Spark角色及运行模式;

Spark集群安装;

RDD概念;

RDD特点;

RDD编程模型;

RDD创建;

TransFormation;

Action;

RDD持久化;

RDD检查点;

依赖关系;

DAG生成;

RDD相关概念关系;

键值对RDD的转化操作;

键值对RDD的行动操作;

键值对RDD的数据分区;

数据读取与保存;

广播变量;

累加器;

SparkSQL:

RDD;

DataFrame;

Dataset;

执行SparkSQL查询;

创建DataFrame;

DataFrame常用操作;

创建Dataset;

Dataset和RDD互操作;

类型之间的转换;

用户自定义函数;

通用加载/保存方法数据源;

Parquet文件;

Hive数据库;

JSON数据集;

JDBC数据源;

Spark Streaming:

运行Spark Streaming;

Spark Streaming架构与抽象;

什么是DStreams;

DStreams输入;

DStreams转换;

DStreams输出;

性能考量;


一周热门 更多>