240
收录了134篇文章 ·2568个问题 · 6人关注

大数据知识问答分享社区,提供包括Java主流框架、hadoopspark、机器学习等大数据相关学习常见问题和技术经验分享。

0

伸展树与半伸展树Java实现

伸展树与半伸展树属于自组织的数据结构,能按访问频率调整节点的位置调整一般通过如下方式:1)绕根的单旋转,跟AVL的单旋转类似2)一字型旋转(ZigZig Rotation)3)之字形旋转(ZigZag Rotation)旋转操作较简单,有点点繁琐。半伸展树不做完全的一字型旋转,它...

0

程序员专属输入法

云输入是一把双刃剑。云输入在输入时检索新词带来便利的同时也将你输入的内容上传到云端,这就造成了隐私隐患,前端时间火绒还专门暴光了某狗输入法在6.18前内挂的广告程序搜狗输入法强制推广"618红包广告" 用户不堪其扰:https://www.52pojie.cn/thread-1194...

0

入门分类回归算法——knn

概述基本分类与回归的方法以既定的模型进行训练,多数表决来确定分类回归情况1.k值的选择2.距离度量3.分类决策规则分类实现1.给定训练用的数据集多个维度,形成了矩阵2.给定用于分类的数据数据维度与给定用来训练的数据集相匹配展开,匹配维度与每一条数据做...

0

大数据的发展及趋势分析

大数据处理的数据成千上万,处理的方法也不断地与时俱进。就现如今的发展趋势而言,大数据技术的发展如火如荼。在各个领域都得到了广泛的应用,而且就其目前的情况来看,大数据技术有这很大的发展前景。大数据公司主要可以分为三大类,技术型、创新型、数据型...

0

给大数据人的5本书(2)

1,《从贝叶斯出发,如何真正的理解算法?》笔者学习贝叶斯也是东看看,西看看,看了忘,忘了看,这次写成一篇还算易懂的文章,算是了却一个心愿,但很多算法不是这样,公式的推导就已经让人发疯,更别提搞懂来龙去脉甚至用业务的语言进行表述,从历史上看,...

0

给大数据人的5本书(1)

1,《数据中台到底是什么?》所谓数据中台,即实现数据的分层与水平解耦,沉淀公共的数据能力,企业只有数据规模和数据服务达到一定程度的时候,才有必要去提中台,比如阿里,数据中台讲究个规模效应,数据中台也不是顶层设计,演化出来的比较靠谱。2,《深度...

0

作为程序员你看视频还在充会员吗?

闲着无聊的时候我会看一些电影和电视剧比如【龙岭迷窟】,但是很多都是收费的,需要冲会员才可以看,虽然网上有很多插件可以使用,但是你不确定它什么时候就不维护了,很无奈,程序员嘛,所以研究一下怎么免费看本次测试视频为:爱奇艺【龙虎山张天师】https:...

1

什么是Zookeeper,如何安装?(二)

  3.2 修改配置  进入到解压好的zookeeper-3.4.6/conf目录,重命名zoo_sample.cfg为zoo.cfg  $ mv zoo_sample.cfg zoo.cfg  $ vi zoo.cfg  tickTime = 2000  dataDir = /zookeeper-3.4.6/data  clientPort = 2181  initLimit = 5  sync...

0

什么是Zookeeper,如何安装?(一)

  1. 什么是Zookeeper  大数据集群包括多种类型的服务节点,如何协调各节点之间的服务,需要一种强有力的工具来完成。如果我们把大数据集群中的每个服务节点当做一种动物,那么ZooKeeper便是这里的动物管理员了。借助百度百科的定义,ZooKeeper是一个分布...

0

Hadoop在HDFS客户端常用命令有哪些?

  HDFS,是一种常用的分布式文件操作系统,要使用大数据,我们需要非常熟悉HDFS客户端操作,下面,我们一起来看下哦!  1. 查看hdfs中的目录和文件信息  hdfs fs -ls /hdfs路径  如:hdfs fs -ls /aaa/xxx/  hdfs fs -ls -R / #递归显示指定位置下的...

1

大数据工作是不是很难找?

目前大数据行业是热门行业之一,因为大数据行业平均薪资很高,所以很多人都想转行大数据开发。不过有些人也担心大数据工作不好找,今天就说一说大数据工作是不是很难找。从职友集上大数据全国招聘量来看,大数据就业岗位还是很多的,因为日招聘量有3万多条。...

1

大数据将重构很多行业的商业思维和商业模式

在人的一生中,汽车是一项巨大的投资。以一部30万车、七年换车周期来算,每年折旧费4万多(这里还不算资金成本),加上停车、保险、油、维修、保养等各项费用,每年耗费应在6万左右。汽车产业也是一个很长产业链的龙头产业,这个方面只有房地产可以媲美。但同...

0

广播变量

广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值,以供一个或多个 Spark 操作使用。比如,如果你的应用需要向所有节点发送一个较大的只读查询表,甚至是机器学习算法中的一个很大的特征向量,广播变量用起 来都很顺手。 传统方式下,Spa...

0

数据结构之红黑树

给大家转载一篇关于红黑数的文章,感觉写的还不错。2017年,小灰曾经发布过一篇关于红黑树的漫画,当时由于时间仓促,部分知识点一带而过,并没有讲解得很细致全面。最近,小灰把这个知识点重新做了总结,分成上下两篇,希望大家把红黑树这个重要的数据结构彻...

1

大数据的初步理解

似乎一夜之间,大数据(BigData)变成一个IT行业中最时髦的词汇。首先,大数据不是什么完完全全的新生事物,Google的搜索服务就是一个典型的大数据运用,根据客户的需求,Google实时从全球海量的数字资产(或数字垃圾)中快速找出最可能的答案,呈现给你,就...