学习Java框架，与大数据框架有什么区别

2020-09-02 16:35发布

站内问答 / 数据库
1417 3 4
发送
3条回答
是你的小甜心呀
2楼 · 2020-09-02 17:42

大数据基于JAVA  后面的知识点有所不同`

这个巴掌正适合你的脸
3楼 · 2020-09-03 09:15

　Java架构方向人才


　　系统的技术选型和可行性评估;


　　你这可以理解为：你家的房子户型设置，硬件软件配置必须要有自己的经验，装修完之后总得适用，不浪费成本，偏激一点总不能到处是柜子。


　　分布式技术框架的把控;


　　你这可以理解为：你家的柜子可以做出多种组合，你家的被子是放在A柜，枕头放B柜，床单放C柜，这得看你的划分用途。


　　深入发掘和分析业务需求，重点模块的设计、方案评审与技术支持，技术难点攻坚，应用系统分布式技术的落地，撰写技术方案和系统设计,最终完成编码工作;


　　你这可以理解为：柜子可以用来放东西，也可以用来拼装;如果组合柜，那可以拼出一些艺术品，那就看你的空间思维了。


　　针对产品性能和架构优化，确保系统的架构质量;


　　你这可以理解为：柜子如果没有按照之前图纸来规划安装摆放，你就会发现有些地方是可以改进的，及时完全参照图纸，你还是会想如何改进，这就会产生一些小想法;你可能会想如何装更多的物品，如何方便取物，如何整理方便。


　　优秀的抽象设计能力，思路清晰，善于思考，能独立分析和解决问题及编写解决方案;


　　你这可以理解为：哇，你家的装修真棒，这时你的邻居，或亲威朋友想参考你的想法，你可以提供一整套安装配置方案，现在你就是专家，因为他们想利用空间，发挥你的空间想像力。需要你来指导装修，提高装修质量，减少控制装修成本等等。


　　熟悉linux，能熟练应用shell/python等脚本语言;


　　扎实的Java基础知识，熟悉IO、多线程及并发技术;


　　熟练掌握redis、mongodb、netty、kafka等中间件;


　　对JVM原理有扎实的理解，对服务器端设计和编程有深入理解;


　　你这可以理解为：你对基建设施了如指掌，编译原理很清楚，恭喜你，你已经超过我了。


　　算法基础扎实，熟悉常见的数据结构，熟悉常用的设计模式，深入理解分布式算法和主流分布式系统，了解主流消息队列工作原理;


　　你这可以理解为：排序，索引，存储，去重，平滑等一些算法有深入了解，恭喜你，你已经是数学专家级了。


　　有丰富的分布式、高并发、高负载、高可用性系统设计经验，熟悉分布式缓存、消息等机制。



　　大数据架构方向人才


　　针对大数据平台的设计和开发制定数据架构规范，进行核心代码编写;


　　你这可以理解为：有设计图纸的能力，能够指导各个组件安装部署，以及数据的数据抽象能力。


　　针对数据基础架构和数据处理体系的升级和优化，技术难题攻关，持续提升核心系统性能，保证系统的安全、稳定、高效运行;


　　你这可以理解为：数据的价值，在于你的抽取采集能力是否高深，是否便于加工，标注。各组件的稳定性，兼容性，是否有预警，在于你的规划和监控接口是否到位。


　　大规模数据实时化、大数据技术容器化、私有云实施方案、数据模型规范化等方面根据不同项目的技术发展路线;


　　你这可以理解为：引入 Docker 的镜像机制来完善自己的容器;同时计算能力、数据结构抽象、定义，要用自己的风格和规范。能用最简单的配置，迅速跑起来流式streaming或离线处理spark程序.


　　跟踪大数据相关领域的技术趋势，竞争对手的产品、技术动态;


　　大数据平台的稳定性和性能优化及技术攻关;


　　产品研发过程中关键设计的把关和研发;


　　精通大数据生态圈主流技术和产品，如Hive、Storm、Flink、Spark，ELK、Kafka，Zookeeper、Yarn，presto，Hue等，对Spark分布式计算的底层原理有深度理解，对复杂系统的性能优化和稳定性的一线实战经验;


　　精通实时数据仓库设计，深刻理解MR运行原理和机制，能进行任务执行效率的优化，熟悉开源数据交换工具如sqoop，streamset，kettle，datax等


　　熟悉elasticsearch、Lucene、Solr、Kylin、Phoenix、Alluxio等相关技


　　具有规划和决策能力，善于捕捉业务需求、架构设计存在的问题，并能给出有效的解决措施和方法 。


　　数据预测，预警，人工智能，图像识别，智能语音，物联网数据采集，标注等。线性计算，神经网络，知识图谱，都要有自己的项目，而且能迅速组建团队，成就你的客户，你就是未来的行家和赢家。


任@先生
4楼 · 2020-12-28 17:25

大数据的基础知识点是java语言开发，但是大数据学到后面以后包括的内容会更多，知识点也会越多。

相关问题推荐

  • oracle中DDL是指什么意思?2021-01-05 10:00
    回答 27

    DDL      create table 创建表    alter table  修改表   drop table 删除表   truncate table 删除表中所有行    create index 创建索引   drop index  删除索引 当执行DDL语句时，在每一条语句前后，oracle都将提交当前的事...

  • Java数据库主要有哪些？2020-12-08 21:05
    回答 23

    java开发应用数据库比较主流的有下面这三种：   　1.MySQL　　　MySQL是最受欢迎的开源SQL数据库管理系统，它由MySQL AB开发、发布和支持。MySQL AB是一家基于MySQL开发人员的商业公司，它是一家使用了一种成功的商业模式来结合开源价值和方法论的第二代开...

  • sql中，dml，dcl，dql，ddl分别代表什2021-01-05 10:47
    回答 23

    1，DML（DataManipulationLanguage）：数据操作语言，用来定义数据库记录（数据）2，DCL（DataControlLanguage）：数据控制语言，用来定义访问权限和安全级别；3，DQL（DataQueryLanguage）：数据查询语言，用来查询记录（数据）；4，DDL（DataDefinitionLang...

  • 建立数据库三级模式的功能由SQL语言的什么完成?2021-01-05 09:59
    回答 11

    数据库三级模式：1、外模式，外模式又称子模式或用户模式，对应于用户级，外模式是从模式导出的一个子集，包含模式中允许特定用户使用的那部分数据。用户可以通过外模式描述语言来描述、定义对应于用户的数据记录(外模式)，也可以利用数据操纵语言(Data Manip...

  • 外模式，内模式，映像，DDL,DML的概念？2021-01-05 10:08
    回答 11

    模式、外模式、内莫斯，亦称逻辑模式，是数据库中全体数据的逻辑结构和特征的描述，是所有用户的公共数据视图。模式描述的是数据的全局逻辑结构。 外模式涉及的是数据的局部逻辑结构，通常是模式的子集 内模式，亦称存储模式，是数据库在数据系统内部的表示...

  • 什么是事务的隔离级别?Java语言 数据库系统 2020-12-29 14:03
    回答 16

    为了避免上面出现的几种情况，在标准SQL规范中，定义了4个事务隔离级别，不同的隔离级别对事务的处理不同。未授权读取（Read Uncommitted）：允许脏读取，但不允许更新丢失。如果一个事务已经开始写数据，则另外一个数据则不允许同时进行写操作，但允许其他事...

  • sql数据库里面的from是什么意思？2020-09-18 11:24
    回答 5

    from是个关键词，表示要从哪个表查询。。

  • 关系数据库中连接池的机制是什么？2020-12-16 14:39
    回答 12

    数据库池连接数量一直保持一个不少于最小连接数的数量，当数量不够时，数据库会创建一些连接，直到一个最大连接数，之后连接数据库就会等待。

  • MYSQL获取每日某一天指定时间点数据2021-09-07 10:05
    回答 7

    仅用慢日志文件，如何快速获取分时报告？如果有监控系统，获取分时报告（每小时慢查询的条数报告）不难，如果只有慢日志文件，就会有点费劲。实验：通过 pt-query-digest --timeline 功能，可以输出带时间戳的慢查询条目用 sed 将 timeline 报告滤出安装 term...

  • MySQL的执行流程怎么优化2021-05-19 15:13
    回答 9
    已采纳

    MySql优化的一般步骤：1.通过show status 命令了解各种sql的执行效率　　SHOW STATUS提供msyql服务器的状态信息　　一般情况下，我们只需要了解以Com开头的指令　　show session status like ‘Com%’：显示当前的连接的统计结果　　show global status like ...

  • 如何彻底解决mysql输入密码闪退问题？2021-03-30 19:58
    回答 4

    有可能是你输入的密码有问题，如果你的密码字母在前数字在后，那么你输入前面的字母后敲回车再输入数字就可以了，可以试一下

  • mybatis或者spring是怎么处理事务的？2021-03-17 20:33
    回答 5

    工程目录sql语句CREATE TABLE `user` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `username` varchar(32) NOT NULL COMMENT '用户名称',  `birthday` date DEFAULT NULL COMMENT '生日',  `sex` char(1) DEFAUL...

  • mysql大数据量，行数多少与数据容量，哪个直接影mysql 2021-02-25 19:34
    回答 6

    事实上MySQL 能承受的数据量的多少主要和数据表的结构有关，并不是一个固定的数值。表的结构简单，则能承受的数据量相对比结构复杂时大些。据D.V.B 团队以及Cmshelp 团队做CMS 系统评测时的结果来看，MySQL单表大约在2千万条记录（4G）下能够良好运行，经过数...

  • MySQL为什么使用utf8mb4还会乱码，插入数mysql 2021-02-25 19:31
    回答 5

    事实上MySQL 能承受的数据量的多少主要和数据表的结构有关，并不是一个固定的数值。表的结构简单，则能承受的数据量相对比结构复杂时大些。据D.V.B 团队以及Cmshelp 团队做CMS 系统评测时的结果来看，MySQL单表大约在2千万条记录（4G）下能够良好运行，经过数...

  • mysql数据库哪个版本稳定，兼容性强，对聚合函数mysql 2021-02-25 19:29
    回答 6

    mysql哪个版本比较稳定MySQL的选择要取决于用途的，mysql5.5或者5.7 的版本，网上资源较多mysql的版本如下：1. MySQL Community Server 社区版本，开源免费，但不提供官方技术支持。2. MySQL Enterprise Edition 企业版本，需付费，可以试用30天。3. MySQL C...

  • mysql表历史数据如何迁移到bak表？mysql 2021-02-25 19:28
    回答 4

    事实上MySQL 能承受的数据量的多少主要和数据表的结构有关，并不是一个固定的数值。表的结构简单，则能承受的数据量相对比结构复杂时大些。据D.V.B 团队以及Cmshelp 团队做CMS 系统评测时的结果来看，MySQL单表大约在2千万条记录（4G）下能够良好运行，经过数...

没有解决我的问题，去提问