相关问题推荐

• Spark分组后为什么会在某个分组下出现 其他组的Spark 2021-02-25 19:18
  回答 1

  自己随意编写一份测试数据，所用的测试数据如下，需求是按照第一列的字母分组，然后按照第二列数据取出每一组内前N个数据，后面我分别列出了我使用的三种方案来实现该需求，不同方案在不同的场景下会有各自的优势 a 25b 36c 24d 45e 60a 33b 26c 47d 43e 62a...

• 【大数据基础】spark和hadoop哪个好Spark Hadoop 2020-11-06 18:48
  回答 9

  1. Spark 概述1.1. 什么是 Spark（官网：http://spark.apache.org）spark 中文官网：http://spark.apachecn.orgSpark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项目，20...

• zookeeper在spark中的作用是什么？Spark 2020-07-21 08:49
  回答 2

  搭建高可用模式用的协同处理框架。

• 在运行spark-submit的时候出现NoSucSpark 2020-07-17 08:50
  回答 1

  多数是版本不对、、、、、、引用错误，，，等

• springboot如何整合spark进行开发SpringBoot Spark 2020-06-24 09:10
  回答 2

          org.springframework.boot         spring-boot-starter-parent         1.3.2.RELEASE                             2.10.4         1.6.2                       ...

• SparkGraphx中的连通图指的是什么意思？Spark 2020-06-24 09:05
  回答 1

  一、图概念术语1.1 基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络、互联网web页面常用的应用有：在地图...

• spark 运行模式 local local[] Spark 2020-06-16 11:23
  回答 4

  该模式被称为 Local[N] 模式，是用单机的多个线程来模拟 Spark 分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题其中N代表可以使用 N 个线程，每个线程拥有一个 core 。如果不指定 N，则默认是1个线程（该线程有1个 core ）。如果是 local[*]，则...

• Flink中的window窗口分类，及其作用是什么Flink 2021-01-20 16:28
  回答 2

  1、Window Assinger是干啥的当你决定stream是否keyby之后，window是没有构建的，你还需要指定一个window Assinger用于定义元素如何分配到窗口中。2、window Assinger如何指定？Keyedstream：window(WindowAssigner)non-keyed streams ：windowAll(WindowAssig...

• flink时间语义有哪些？分别是什么含义?Flink 2021-01-19 09:09
  回答 2

  Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入Flink 的时间。Processing Time：是每一个执行基于时间操作的算子...

• Flink时间语义有哪些，怎么理解？Flink 2021-01-19 09:08
  回答 2

  Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入Flink 的时间。Processing Time：是每一个执行基于时间操作的算子...

• flink是如何将批处理认为成流处理的一种方式的？Flink 2020-07-21 08:52
  回答 1

  批处理是流处理的一种非常特殊的情况。在流处理中，我们为数据定义滑动窗口或滚动窗口，并且在每次窗口滑动或滚动时生成结果。批处理则不同，我们定义一个全局窗口，所有的记录都属于同一个窗口。...

• flink中的jobManager，taskManFlink 2020-07-21 08:51
  回答 5

  jobmanager:主节点，类似于spark中的mastertaskManager：从节点，类似于spark中的workerslot：插槽，类似于spark中executor中的线程，只不过flink中的slot是物理存在的，可以手动配置，每个slot执行一个任务，是静态概念，用来隔绝内存。...

• flink jobmanager如何实现ha配置Flink 2020-07-21 08:50
  回答 1

  配置文件（flink-conf.yaml）要启动HA集群，请将以下配置键添加到 conf/flink-conf.yaml:高可用性模式（必需）：在 conf/flink-conf.yaml 中，必须将高可用性模式设置为zookeeper，以打开高可用模式。或者将此选项设置为工厂类的 FQN，Flink 通过创建 HighAva...

• zookeeper在flink中的作用是什么Flink 2020-07-21 08:50
  回答 4

  1.Zookeeper加强集群稳定性Zookeeper通过一种和文件系统很像的层级命名空间来让分布式进程互相协同工作。这些命名空间由一系列数据寄存器组成，我们也叫这些数据寄存器为znodes。这些znodes就有点像是文件系统中的文件和文件夹。和文件系统不一样的是，文件系...

• Flink中的数据集有哪些Flink 2020-07-17 09:49
  回答 1

  根据现实的数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集----一种是有界数据集，另外一种是无界数据集