240
收录了108篇文章 ·2186个问题 · 5人关注

大数据知识问答分享社区,提供包括Java主流框架、hadoopspark、机器学习等大数据相关学习常见问题和技术经验分享。

1

Spark 出现的问题及其解决方案

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

一文教你快速解决Spark数据倾斜!

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (4) | JVM 调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (3) | Shuffle 调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (2) | 算子调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

Spark性能优化 (1) | 常规性能调优

  大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处...

0

hdfs读写文件核心流程详解巧说

一.hdfs写数据流程(面试重点)1)客户端(fs)向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。2)namenode返回是否可以上传。3)客户端请求第一个 block上传到哪几个datanode服务器上。4)namenode返回3个datanode节点,分别为dn...

0

编译Hadoop源码全流程讲解

为什么需要编译Hadoop源码? 因为hadoop官网只提供了32位,若想用64的,需要自己编译,或者下载别人已经编译好的版本。1前期准备工作1)CentOS联网,全程大概需要40分钟,[root@hadoop101桌面]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWAD...

0

hadoop集群常见的报错原因

Hadoop集群常见报错原因1)防火墙没关闭、或者没有启动yarnINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:80322)主机名称配置错误3)ip地址配置错误4)ssh没有配置好,主机之间无法无密登录,无法进行RPC通信5)root用户...

0

往hive中导入文件后查看出现中文乱码

往hive中导入.txt或者.csv文件,导入没有报错,导入后通过查询界面发现,中文字段出现乱码的情况。因为Hive默认是所有文件都是UTF-8的(utf-8本身支持中文没有问题的。hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式,但是一般我们导入的文件都...

0

Hive中压缩使用详解与性能分析

HIVE底层是hdfs和mapreduce实现存储和计算的。所以HIVE可以使用hadoop自带的InputFormat和Outputformat实现从不同的数据源读取文件和写出不同格式的文件到文件系统中。同理,HIVE也可以使用hadoop配置的压缩方法对中间结果或最终数据进行压缩。1.什么是压缩及...

0

Hive内置的算术运算符与逻辑运算符

一.Hive内置算术运算符1. 加法操作: +语法: A + B操作类型:所有数值类型说明:返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。比如,int + int 一般结果为int类型,而int + double 一般结果为double类型举...

0

Hive内嵌字符处理函数:get_json_object,parse_url

1.Hive内嵌函数对Json字符和网址的解析处理Return TypeName(Signature)Descriptionstringparse_url(string urlString, string partToExtract [, string keyToExtract])Returns the specified part from the URL. Valid values for p...

0

大多数开发人员都弄错的Hive与MapReduce小文件合并问题

近来我们公司搞小文件治理(小于10Mb),小文件太多的危害就不此赘述了。公司的开发人员提供的合并小文件治理配置如下:--设置小文件合并 sethive.merge.mapfiles=true; sethive.merge.mapredfiles=true; sethive.merge.size.per.task=256000000; sethive.mer...

0

数据仓库常见建模方法与建模实例演示

1.数据仓库建模的目的? 为什么要进行数据仓库建模?大数据的数仓建模是通过建模的方法更好的组织、存储数据,以便在 性能、成本、效率和数据质量之间找到最佳平衡点。一般主要从下面四点考虑访问性能:能够快速查询所需的数据,减少数据I/O数据成本:减少不...