实时数仓和离线数仓数据架构的联系和区别_大数据

4条回答

霸气的名字 - 喜欢晴天

2楼 · 2020-08-06 11:59

从数据架构图来看，实时数仓的数据架构会跟离线数仓有很多类似的地方。

比如分层结构；比如说 ODS 、DWD、DWS、ADS，它们命名的模式可能都是一样的。尽管如此，实时数仓和离线数仓还是有很多的区别的。

跟离线数仓主要不一样的地方，就是实时数仓的层次更少一些。

DWD层

以我们目前建设离线数仓的经验来看，数仓的第二层远远不止这么简单，一般都会有一些轻度汇总层这样的概念，其实第二层会包含很多层。

ADS层

另外一个就是应用层，以往建设数仓的时候，应用层其实是在仓库内部的。在应用层建设好后，会建同步任务，把数据同步到应用系统的数据库里。

在实时数仓里面，所谓 APP 层的应用表，实际上就已经在应用系统的数据库里了。上图，虽然画了 APP 层，但它其实并不算是数仓里的表，这些数据本质上已经存过去了。

为什么主题层次要少一些？

是因为在实时处理数据的时候，每建一个层次，数据必然会产生一定的延迟。

为什么汇总层也会尽量少建？

是因为在汇总统计的时候，往往为了容忍一部分数据的延迟，可能会人为的制造一些延迟来保证数据的准确。

举例，统计事件中的数据时，可能会等到 10:00:05 或者 10:00:10再统计，确保 10:00 前的数据已经全部接受到位了，再进行统计。所以，汇总层的层次太多的话，就会更大的加重人为造成的数据延迟。

建议尽量减少层次，特别是汇总层一定要减少，最好不要超过两层。明细层可能多一点层次还好，会有这种系统明细的设计概念。

第二个比较大的不同点就是在于数据源的存储。

在建设离线数仓的时候，可能整个数仓都全部是建立在 Hive 表上，都是跑在 Hadoop 上。

但是，在建设实时数仓的时候，同一份表，我们甚至可能会使用不同的方式进行存储。比如常见的情况下，可能绝大多数的明细数据或者汇总数据都会存在 Kafka 里面，但是像维度数据，可能会存在像 Tair 或者 HBase 这样的 kv 存储的系统中，实际上可能汇总数据也会存进去

爱梦 - 拿来吧你

3楼 · 2021-10-09 09:30

与离线数仓相比，实时数仓的数据源存储不同。

与离线数仓相比，实时数仓的层次更少一些。

离线数仓，其实简单点来说，就是原来的传统数仓，数据以T+1的形式计算好放在那里，给前台的各种分析应用提供算好的数据。到了大数据时代，这种模式被称为“大数据的批处理”。

实时数仓最开始是在日志数据分析业务中被广泛使用，后来在各种实时战报大屏的推动，实时数仓开始应用。

与离线计算相比，实时计算减少了数据落地，替换了数据计算引擎，目前纯流式数据处理基本上就只有Spark Streaming了，而Flink是批流一体的。实时数据计算好结果后，可以落地到各种数据库中，也可以直接对接到大屏进行展示。

慢半拍

4楼 · 2021-10-09 13:57

首先，从架构上，实时数仓与离线数仓有比较明显的区别，实时数仓以Kappa架构为主，而离线数仓以传统大数据架构为主。Lambda架构可以认为是两者的中间态。

其次，从建设方法上，实时数仓和离线数仓基本还是沿用传统的数仓主题建模理论，产出事实宽表。另外实时数仓中实时流数据的join有隐藏时间语义，在建设中需注意。

最后，从数据保障看，实时数仓因为要保证实时性，所以对数据量的变化较为敏感。在大促等场景下需要提前做好压测和主备保障工作，这是与离线数据的一个较为明显的区别。

天天

5楼 · 2021-10-28 19:21

离线数仓架构

数据源通过离线的方式导入到离线数仓中

数据分层架构：ODS、DWD、DM

下游应用根据业务需求选择直接读取DM

实时数仓架构

业务实时性要求不断提高，实时处理从次要部分变成主要部分

Lambda架构：在离线大数据架构基础上加了一个加速层，使用流处理技术完成实时性较高的计算

Kappa架构：一实时事件处理为核心，统一数据处理

相关问题推荐

什么是大数据时代？2021-01-13 21:23

回答 100

大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，而这个海量数据的时代则被称为大数据时代。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结...
Java和大数据有什么关系？2021-01-13 21:25

回答 84

Java和大数据的关系：Java是计算机的一门编程语言；可以用来做很多工作，大数据开发属于其中一种；大数据属于互联网方向，就像现在建立在大数据基础上的AI方向一样，他两不是一个同类，但是属于包含和被包含的关系；Java可以用来做大数据工作，大数据开发或者...
大数据方向学完，都可以从事什么岗位2020-11-19 10:19

回答 52

已采纳

学完大数据可以从事很多工作，比如说：hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位！不同的岗位，所具备的技术知识也是不一样...
大数据的基本特征有哪些？2021-05-07 19:10

回答 29

简言之，大数据是指大数据集，这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。大数据的特点：数据量大、数据种类多、要求实时性强、数据所蕴藏的...
tailf、tail -f、tail -F三者区别2020-06-09 18:47

回答 14

tail -f的时候，发现一个奇怪的现象,首先我在一个窗口中 tail -f test.txt 然后在另一个窗口中用vim编辑这个文件，增加了几行字符，并保存，这个时候发现第一个窗口中并没有变化，没有将最新的内容显示出来。tail -F，重复上面的实验过程，发现这次有变化了...
听说大专学历学大数据不好找工作是么？2020-06-17 13:52

回答 18

您好针对您的问题，做出以下回答，希望有所帮助！1、大数据行业还是有非常大的人才需求的，对于就业也有不同的岗位可选，比如大数据工程师，大数据运维，大数据架构师，大数据分析师等等，就业难就难在能否找到适合的工作，能否与你的能力和就业预期匹配。2、...
大数据的数据单位有哪些？2021-05-07 19:12

回答 17

最小的基本单位是Byte应该没多少人不知道吧，下面先按顺序给出所有单位：Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，按照进率1024（2的十次方）计算：1Byte = 8 Bit1 KB = 1,024 Bytes　1 MB = 1,024 KB = 1,048,576 Bytes　1 GB = 1,024 MB = 1,048,576...
什么是“大数据”，如何理解“大数据”？2021-01-13 21:23

回答 33

大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新...
什么是MySQL?MySQL为什么有两个版本?mysql 2022-05-07 18:02

回答 5

MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL的版本：针对不同的用户，MySQL分为两种不同的版本：MySQL Community Server社区版本，免费，但是Mysql不提供...
mysql安装步骤 mysql 2022-05-07 18:01

回答 2

mysql安装需要先使用yum安装mysql数据库的软件包；然后启动数据库服务并运行mysql_secure_installation去除安全隐患，最后登录数据库，便可完成安装
mysql查看数据库命令 mysql 2022-04-20 18:59

回答 5

1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike'port';4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...
mysql数据库怎么创建表 mysql 2022-04-20 18:58

回答 5

CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT UNSIGNED AUTO_INCREMENT, `runoob_title` VARCHAR(100) NOT NULL, `runoob_author` VARCHAR(40) NOT NULL, `submission_date` DATE, PRI...
数据库增删改查要学多久 增删改查 2022-04-02 17:11

回答 9

学习多久，我觉得看你基础情况。1、如果原来什么语言也没有学过，也没有基础，那我觉得最基础的要先选择一种语言来学习，是VB,C..,pascal，看个人的喜好，一般情况下，选择C语言来学习。2、如果是有过语言的学习，我看应该一个星期差不多，因为语言的理念互通...
常用的四种sql增删改查 增删改查 2022-04-02 17:07

回答 7

添加语句 INSERT插入语句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查询插入语句： INSERT INTO 插入表 SELECT * FROM 查...
MySQL只会基础的增删改查实习期够用么？增删改查 2022-04-01 19:09

回答 5

看你什么岗位吧。如果是后端，只会CRUD。应该是可以找到实习的，不过公司应该不会太好。如果是数据库开发岗位，那这应该是不会找到的。
MySQL的增删改查语句总结 增删改查 2022-04-01 19:01

回答 7

查找数据列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name

没有解决我的问题，去提问

实时数仓和离线数仓数据架构的联系和区别

跟离线数仓主要不一样的地方，就是实时数仓的层次更少一些。

DWD层