2020-05-19 10:06发布
我这里先列出一些基本的,你参考下:
sparkcore:
Spark角色及运行模式;
Spark集群安装;
RDD概念;
RDD特点;
RDD编程模型;
RDD创建;
TransFormation;
Action;
RDD持久化;
RDD检查点;
依赖关系;
DAG生成;
RDD相关概念关系;
键值对RDD的转化操作;
键值对RDD的行动操作;
键值对RDD的数据分区;
数据读取与保存;
广播变量;
累加器;
SparkSQL:
RDD;
DataFrame;
Dataset;
执行SparkSQL查询;
创建DataFrame;
DataFrame常用操作;
创建Dataset;
Dataset和RDD互操作;
类型之间的转换;
用户自定义函数;
通用加载/保存方法数据源;
Parquet文件;
Hive数据库;
JSON数据集;
JDBC数据源;
Spark Streaming:
运行Spark Streaming;
Spark Streaming架构与抽象;
什么是DStreams;
DStreams输入;
DStreams转换;
DStreams输出;
性能考量;
最多设置5个标签!
我这里先列出一些基本的,你参考下:
sparkcore:
Spark角色及运行模式;
Spark集群安装;
RDD概念;
RDD特点;
RDD编程模型;
RDD创建;
TransFormation;
Action;
RDD持久化;
RDD检查点;
依赖关系;
DAG生成;
RDD相关概念关系;
键值对RDD的转化操作;
键值对RDD的行动操作;
键值对RDD的数据分区;
数据读取与保存;
广播变量;
累加器;
SparkSQL:
RDD;
DataFrame;
Dataset;
执行SparkSQL查询;
创建DataFrame;
DataFrame常用操作;
创建Dataset;
Dataset和RDD互操作;
类型之间的转换;
用户自定义函数;
通用加载/保存方法数据源;
Parquet文件;
Hive数据库;
JSON数据集;
JDBC数据源;
Spark Streaming:
运行Spark Streaming;
Spark Streaming架构与抽象;
什么是DStreams;
DStreams输入;
DStreams转换;
DStreams输出;
性能考量;
一周热门 更多>