【Hadoop技术】——集群配置
-
爬虫大王
发布于
- 收藏
一、集群部署规划二、 配置集群2.1 配置文件2.1.1 hadoop-env.shLinux系统中获取JDK的安装路径echo$JAVA_HOME1进入hadoop-2.7.3/etc/hadoop下修改JAVA_HOME路径cd/usr/hadoop/hadoop-2.7.3/etc/hadoop vihadoop-env.sh exportJAVA_HOME=/usr/java/jdk1...
【Hadoop技术】——JDK和Hadoop安装
-
爬虫大王
发布于
- 收藏
一、 JDK安装1.1 创建工作目录mkdir-p/usr/java1mkdir [-p] dirName-p 确保目录名称存在，不存在的就建一个。Linux mkdir命令用于建立名称为 dirName 之子目录。1.2 下载软件已下载并上传，此处跳过1.3 解压在当前压缩包位置，输入以下命令tar-zxvfjdk-8u171-linux-x64.tar.gz-C/usr/java/1解包并解压...
【Hadoop技术】——Linux 系统环境准备
-
爬虫大王
发布于
- 收藏
一、 准备软件在window系统下载了jdk。现在需要把window的jdk传输到linux系统中。Xftp直接在官网下载免费试用版即可。这部分没有什么可以说的。接【Linux】【安装】的后文，安装完CentOS7后需要配置网络，才能使windows和Liunx相互传输文件。没有设置网络，外网ping不通，只能ping本机。打开VM-编辑-虚拟机网络编辑器记住VMnet8中NAT设置里的网关和DH...
【Hadoop技术】——离线分析系统结构概述
-
爬虫大王
发布于
- 收藏
一、 需求分析案例名称XX 网/XX app 点击流日志数据挖掘系统 网站分析的主要手段是分析网站的点击流数据。 XX 网/XX app 点击流日志数据挖掘系统 网站分析的主要手段是分析网站的点击流数据。 （1）点击流的概念 点击流（ Click Stream）是指用户在网站上持续访问的轨迹。 这个概念更注重用户浏览网站的整个流程。 用户对网站的每次访问包含了一系列的点击动作行为，这些点...
【Hadoop技术】——分布式系统概述
-
爬虫大王
发布于
- 收藏
一、 分布式集群集群和分布式的区别（1）从解决问题的角度看：分布式是以缩短单个任务的执行时间来提升效率的；集群则是通过提高单位时间内执行的任务数来提升效率。（2）从软件部署的角度看：分布式是指将不同的业务分布在不同的地方；集群则是将几台服务器集中在一起，实现同一业务。分布式中的每一个节点，都可以做集群，集群不一定就是分布式。一个分布式系统，是通过多个节点组成，各节点都是集群化，并且各集群还是分布式...