相关问题推荐

• Spark分组后为什么会在某个分组下出现 其他组的Spark 2021-02-25 19:18
  回答 1

  自己随意编写一份测试数据，所用的测试数据如下，需求是按照第一列的字母分组，然后按照第二列数据取出每一组内前N个数据，后面我分别列出了我使用的三种方案来实现该需求，不同方案在不同的场景下会有各自的优势 a 25b 36c 24d 45e 60a 33b 26c 47d 43e 62a...

• 【大数据基础】spark和hadoop哪个好Spark Hadoop 2020-11-06 18:48
  回答 9

  1. Spark 概述1.1. 什么是 Spark（官网：http://spark.apache.org）spark 中文官网：http://spark.apachecn.orgSpark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项目，20...

• zookeeper在spark中的作用是什么？Spark 2020-07-21 08:49
  回答 2

  搭建高可用模式用的协同处理框架。

• 在运行spark-submit的时候出现NoSucSpark 2020-07-17 08:50
  回答 1

  多数是版本不对、、、、、、引用错误，，，等

• 现在的计算框架越来越多，其中的典型就是spark和Spark Flink 2020-07-15 09:03
  回答 1

  目前，还是选择saprkflink还有成长的空间

• springboot如何整合spark进行开发SpringBoot Spark 2020-06-24 09:10
  回答 2

          org.springframework.boot         spring-boot-starter-parent         1.3.2.RELEASE                             2.10.4         1.6.2                       ...

• SparkGraphx中的连通图指的是什么意思？Spark 2020-06-24 09:05
  回答 1

  一、图概念术语1.1 基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络、互联网web页面常用的应用有：在地图...

• spark 运行模式 local local[] Spark 2020-06-16 11:23
  回答 4

  该模式被称为 Local[N] 模式，是用单机的多个线程来模拟 Spark 分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题其中N代表可以使用 N 个线程，每个线程拥有一个 core 。如果不指定 N，则默认是1个线程（该线程有1个 core ）。如果是 local[*]，则...

• 【大数据基础】flume和kafka区别Flume Kafka 2021-01-22 17:27
  回答 17

  flume和kafka的侧重点不同，flume追求的是数据和数据源、数据流向的多样性，适合多个生产者的场景；flume有自己内置的多种source和sink组件，具体操作方式是编写source、channel和sink的.conf配置文件，开启flume组件的时候用命令关联读取配置文件实现kafka追...

• kafka数据分区的策略有哪些？Kafka 2020-07-20 09:02
  回答 2

  探究的是kafka的数据生产出来之后究竟落到了哪一个分区里面去了第一种分区策略：给定了分区号，直接将数据发送到指定的分区里面去第二种分区策略：没有给定分区号，给定数据的key值，通过key取上hashCode进行分区第三种分区策略：既没有给定分区号，也没有给...

• kafka消息检索的过程是怎么样的？Kafka 2020-07-20 09:01
  回答 2

  读取数据的过程中，数据是属于某一个topic的某一个partition对应的某一个segment文件中的某一条记录。①定位到具体的segment日志文件②计算查找的offset在日志文件的相对偏移量

• SparkStreaming消费kafka数据的时Spark Kafka 2020-05-28 09:05
  回答 2

  Spark Streaming的输出一般是靠foreachRDD()算子来实现，它默认是at least once的。如果输出过程中途出错，那么就会重复执行直到写入成功。为了让它符合exactly once，可以施加两种限制之一：幂等性写入(idempotent write)、事务性写入(transactional write...

• kafak在高并发的情况下,如何避免消息丢失和消息Kafka 2020-05-19 08:55
  回答 3

  消息丢失解决方案:        首先对kafka进行限速， 其次启用重试机制，重试间隔时间设置长一些，最后Kafka设置acks=all，即需要相应的所有处于ISR的分区都确认收到该消息后，才算发送成功。消息重复解决方案:        消息可以使用唯一id标识 ...

• Kafka数据推送失败怎么处理呢？Kafka 2020-05-15 10:27
  回答 4

  kafka数据推送失败，如果是生产者推送kafka数据失败，有可能是网络端口问题，配置网络ip的域名映射，防火墙问题可以做防火墙策略，还有配置的ip和端口是否正确，还要确定kafka是否启动服务。kafka推送数据到其他系统，可以使用flume以及消费者来做...

• Kafka数据重复怎么处理呢？Kafka 2020-05-15 10:25
  回答 5

  遇到这种问题，基本上是心跳或offset更新不及时导致。在kafka环境中，有以下几个参数对于数据重复有很好的效果。auto.commit.interval.msconsumer向zookeeper提交offset的频率，单位是秒，默认60*1000此值太大会导致数据重复消费，将其调小可避免重复数据。建...

• 什么是数据一致性，如何保证kafka在消费数据过程Kafka 2020-05-14 09:13
  回答 3

  数据一致性可以理解为数据前后是否一样，比如说数据的丢失或者重复都回造成数据的不一致！kafka的0.11之后引入了幂等性可以解决单次会话、单个partition的数据不重复，生产者可以利用其0.11后引入的事务来保证其数据一致性，消费者的话其实事务是无法保证的，...