2020-11-14 10:04发布
查了很多资料，觉得不完善的话请在评论区补充，谢谢！：
hadoop
CHD
hadoop生态系统
生产环境版本搭配
用于本机练习的话，hadoop版本自定义选择都可以，各个组件搭配也随意，也可以自己本机测试下版本兼容问题
Hadoop 1.2 + HBase 0.94.9 + Hive 0.10.0
Hadoop 2.2.0 + HBase 0.94.2 + Hive 0.13.1
Hadoop 2.5.1 + HBase 0.98.6.1 + Hive 0.13.11+zookeeper 3.4.6+jdk 1.6+mySql 5.6.12
Hadoop 0.2 + Hive 0.10.0
Apache Zookeeper 3.4.5 + Apache Hadoop 2.6.0 + Apache HBase 1.2.0 + Apache Hive 1.1.0 + Apache Spark 1.6 + Apache Pig 0.12.0 + Apache Flume 1.6.0 + Apache Kafka 0.9.0 + Apache Sqoop 1.4.6/1.99.5[+ Apache Avro 1.7.6 + Apache Crunch 0.11.0 + Apache DataFu 1.1.0 + HUE 3.10.0 + Apache Impala 2.6.0 + Kite SDK 1.0.0 + Apache Parquet 1.5 + Apache Mahout 0.9.0 + Apache Oozie 4.1.0 + Cloudera Search 1.0.0 + Apache Sentry 1.5.1]from 这里
Apache Zookeeper 3.4.5 + Apache Hadoop 2.6.0 + Apache HBase 1.2.0 + Apache Hive 1.1.0 + Apache Spark 1.6 + Apache Pig 0.12.0 + Apache Flume 1.6.0 + Apache Kafka 0.9.0 + Apache Sqoop 1.4.6/1.99.5[+ Apache Avro 1.7.6 + Apache Crunch 0.11.0 + Apache DataFu 1.1.0 + HUE 3.10.0 + Apache Impala 2.6.0 + Kite SDK 1.0.0 + Apache Parquet 1.5 + Apache Mahout 0.9.0 + Apache Oozie 4.1.0 + Cloudera Search 1.0.0 + Apache Sentry 1.5.1]
from 这里
需要
以常用的编程语言php为例：window系统推荐：phpStudy v8.0 （针对Windows系统，免费）针对Windows系统，一键安装，可以自行选择软件版本，你可在本地或者服务器端搭建与配置PHP运行环境。主要功能：1. 全新界面，更美观，操作更清晰2. 安装包内置最新版本Apa...
一、Impala简介Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面...
catalog节点yum install -y impala-server impala impala-state-store impala-catalogworker 节点yum install -y impala-server impala配置打开 短路读取 和 打开块位置跟踪所谓的短路读取，就是允许impala把一些信息存储在本地磁盘上，可以加快计算的速度。...
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
/data/hadoop-2.7.0/logsgedit hadoop-neworigin-datanode-s100.log查看clusterID发现datanode和namenode之间的ID不一致进入hdfs-site.xml 配置文件查看：[hdfs-site.xml]dfs.namenode.name.dir/home/neworigin/hadoop/hdfs/namedfs.data......
Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。 Kafka就跟这个名字一样，设计非常独特。首先，kafka的开发者们认为不需要在内存里缓存什么数据，操作系统的文件缓存已经足够完善和强大，只要你不搞随机写，顺序读写的性能是非常高效的。kafka的数...
将 hadoop执行job命令写到shell脚本中。类似 hadoop jar x.jar ×××.MainClassName inputPath outputPath这种命令。hadoop客户机在本地，使用 Process执行shell脚本，java执行本地shell脚本的代码 1234Process process =null;String command1 ...
1
public static void test1(String user, String keytab, String dir) throws Exception { Configuration conf = new Configuration(); // conf.set(fs.defaultFS, hdfs://hadoop01:8020); c...
Hello, world! ]]>
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布...
Hadoop的三大核心组件 分别是 ：HDFS（Hadoop Distribute File System）：hadoop的数据存储 工具。YARN（Yet Another Resource Negotiator,另一种 资源协调者）：Hadoop 的资源管理 器。Hadoop MapReduce:分布式计算 框架...
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 上瘾入骨i 的问题《【大数据基础】Apache Hadoop环境如何搭配安装Impala?》','http://www.shouhuola.com/q-31125.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
生产环境下应该如何搭配hadoop生态系统个组件版本
查了很多资料，觉得不完善的话请在评论区补充，谢谢！：
hadoop
CHD
hadoop生态系统
生产环境版本搭配
相关问题推荐
需要
以常用的编程语言php为例：window系统推荐：phpStudy v8.0 （针对Windows系统，免费）针对Windows系统，一键安装，可以自行选择软件版本，你可在本地或者服务器端搭建与配置PHP运行环境。主要功能：1. 全新界面，更美观，操作更清晰2. 安装包内置最新版本Apa...
一、Impala简介Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面...
catalog节点yum install -y impala-server impala impala-state-store impala-catalogworker 节点yum install -y impala-server impala配置打开 短路读取 和 打开块位置跟踪所谓的短路读取，就是允许impala把一些信息存储在本地磁盘上，可以加快计算的速度。...
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
/data/hadoop-2.7.0/logsgedit hadoop-neworigin-datanode-s100.log查看clusterID发现datanode和namenode之间的ID不一致进入hdfs-site.xml 配置文件查看：[hdfs-site.xml]dfs.namenode.name.dir/home/neworigin/hadoop/hdfs/namedfs.data......
Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。 Kafka就跟这个名字一样，设计非常独特。首先，kafka的开发者们认为不需要在内存里缓存什么数据，操作系统的文件缓存已经足够完善和强大，只要你不搞随机写，顺序读写的性能是非常高效的。kafka的数...
将 hadoop执行job命令写到shell脚本中。类似 hadoop jar x.jar ×××.MainClassName inputPath outputPath这种命令。hadoop客户机在本地，使用 Process执行shell脚本，java执行本地shell脚本的代码 1234Process process =null;String command1 ...
1
public static void test1(String user, String keytab, String dir) throws Exception { Configuration conf = new Configuration(); // conf.set(fs.defaultFS, hdfs://hadoop01:8020); c...
Hello, world! ]]>
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布...
Hadoop的三大核心组件 分别是 ：HDFS（Hadoop Distribute File System）：hadoop的数据存储 工具。YARN（Yet Another Resource Negotiator,另一种 资源协调者）：Hadoop 的资源管理 器。Hadoop MapReduce:分布式计算 框架...