成为一名大数据工程师需要掌握哪些技能?

2020-03-27 14:13发布

当今市场竞争十分激烈,无论你处于哪个行业,都要接受不断的洗礼,并不停的更新换代,才能跟上时代步伐。因此,要想在这个市场上占据一席之地,取得成功,就必须要一个强大的软件架构用来存储和访问公司数据,这个东西就叫大数据。  


那么成为一名大数据工程师需要学习哪些基本技能呢?


1. Python语言:编写一些脚本时会用到。  


2. Scala语言:需要用于编写Spark程序。  


3. Ozzie,azkaban:需要用于定时任务调度。  


4. Hue,Zepplin:图形化任务编辑器,可以随时查看编辑用户的满意度。  


5. Allluxio,Kylin等:通过对存储的数据进行预处理,加快数据运算速度,保证数据数量和质量。


除去这些基本的技能以外,还必须掌握一些必备技能,并不断升级,才可以走上更高层次。例:Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)。  


总之,进入IT行业成为程序员,是一个艰难的过程,无基础的小白自学的确要耗费掉许多入门时间。前期的时间规划,对每个技能学习的掌握程度,都需要你系统的进行规划。