大数据框架有哪些？有哪些项目可以着手去做？

2021-01-16 19:34发布

3条回答

2021-01-22 16:20

Impala：hadoop的sql平台、支持hbase/hdfs、支持超大数据、支持多并发、sql支持好、对内存依赖比较严重。需要自己优化，并且有的语句超过内存会报错。

Spark：各种格式、各种计算（机器学习、图形计算）、可sql、可代码处理、支持scala/java/python语言开发。提供scala/python代码命令行运行、超大数据支持差。

Kylin：预计算、好优化、高性能、支持mr、spark、基于时间的增量更新、流式更新、数据源有hive/kafka、提供开发用的管理台是一套开发系统。由于有预计算、所以其他各个模块独立，能支持高并发。可以直接作为软件系统的数据源。

Phoenix：sql on hbase、快

Hbase：key/value、强一致性、不丢数据

项目：用户行为分析系统，高铁电务智能监控大数据等。