大数据的数据结构？_大数据

7条回答

2楼 · 2021-06-02 09:36

　　随着互联网的兴起，越来越多的内容被放到互联网中，从而导致海量数据处理受到更多人的重视，尤其是在百度、腾讯等这些涉及海量数据的公司。下面我们简单谈一下关于海量数据处理的一些常用数据结构。包括哈希、bitmap、Bloom filter、堆、mapreduce、trie树。

（1）哈希

（2）bitmap

（3）布隆过滤器（Bloom filter）

（4）堆

（5）mapreduce

（6）trie树

Danke - 四有青年

3楼 · 2021-06-03 15:36

简单地讲，可以分为三类：

1）结构化数据通常是指用关系数据库方式记录的数据，数据按表和字段进行存储，字段之间相互独立。

2）半结构化数据是指以自描述的文本方式记录的数据，由于自描述数据无需满足关系数据库上那种非常严格的结构和关系，在使用过程中非常方便。很多网站和应用访问日志都采用这种格式，网页本身也是这种格式。

3）非结构化数据通常是指语音、图片、视频等格式的数据。这类数据一般按照特定应用格式进行编码，数据量非常大，且不能简单地转换成结构化数据。

茄子酱

4楼 · 2021-06-04 10:15

如图

猫的想法不敢猜

5楼 · 2021-08-08 17:05

哈希、bitmap、Bloom filter、堆、mapreduce、trie树。

小朋友

6楼 · 2021-08-18 09:13

一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据的本质就是一大堆结构化的和非结构化的数据。因为数据量太大，你没办法使用，你需要从中抓取出有价值的内容或你想要的数据，这就是大数据应用。
老程序都知道，我们做企业级的项目（数据库项目）时，都会有数据的存储，而且会做出很多图表，为决策者进行科学地决策提供了客观依据，为每个工作者从数据中发现问题，做进一步改进提供了依据，当然也有即时变动的数据展示位动态图表。
1）、超市管理系统，也会把每年的数据进行汇总，对比每个月的销量，以了解淡旺季，帮助做下一步的应对策略；把不同类型的商品进行汇总，对比哪个商品卖得多，哪个商品收益高；哪个商品在哪个时间段卖得快等等。当然，如果有会员的话，甚至可以统计出不同年龄段，不同性别的不同喜好等等。
2）、石油行业的进销存系统，会统计哪个加油站的销量好，哪种型号的销量好。
3）、在HIS（医院信息管理）系统里，会统计哪个科室的患者多，哪个医生的挂号量大，哪个医疗设备的使用频度高，哪个病种多，甚至哪个年龄段得哪种类型病的数量多，甚至哪个地区的人患哪种病的概率高。在很多研究型医院里，还可以通过大量数据得出什么类型的细菌是导致某种病的主因等等。
随着时间的推移，数据的积累，随着社会节奏的变化，使用信息化系统的人越来越多，数据积累的速度越来越快，数据也越来越庞大。当规模大到在获取数据，存储数据，管理数据，分析数据方面大大超过了传统数据库软件工具能力范围的数据集合，并且数据的价值越来越大，针对数据的处理就需要专门的企业或者人员来完成，这就是现在大数据（当然，大数据的内涵远远不是这一两句话能够说清楚的）。
你可以简单理解为：以前那是小数据，现在是大数据，哈哈！
从技术层面说，大数据和以前的数据时代（"小数据"）的最大差异在于：以前是数据找应用、算法的过程，偏重于用抽样推测全局,从抽样数据中分析，没有采集到的样本所对应的相关规律。
而大数据时代的重要技术特征之一，是应用、算法去找数据的过程，因为数据规模变成了技术上最大的挑战，我们更关注每一个个体的微观表现
————————————————
版权声明：本文为CSDN博主「田江」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/jiang7701037/article/details/81042454

职场老油条

7楼 · 2021-08-20 16:19

大数据是一定要学数据结构的，当你掌握数据结构，对你编写代码是有很大帮助的。而且你要往架构师发展，数据结构与算法就是必备的。

天天向上 - 大道五十天衍四九

8楼 · 2021-09-07 10:01

有3大结构体系

1、数组

数组：是指相同元素按照一定顺序排列的集合
优点：
1、构建一个数组很简单
2、能够在O(1)的时间内根据数组的小标查询某个元素
缺点：
1、构建时必须分配一段连续的时间
2、查询某个元素是否存在时需要遍历整个数组，需要花费O(n)的时间内
3、删除或者添加某个元素时，同样需要耗费O(n)的时间

2.链表

链表的出现在某种程度上是为了避免数组的一大缺陷，即分配数组的时候需要开辟一段连续的内存空间，但鱼和熊掌不可兼得，链表也牺牲了数组的一些优点，链表不能通过下标进行快速查询。所以在考虑是否需要运用链表的时候，务必搞懂所用算法是否需要经常进行查询和遍历。
优点：
1、链表能灵活地分配内存空间
2、能在O(1)时间内删除或者添加元素，前提是该元素的前一个元素已知，当然也取决于是单链表还是双链表，在双链表中，如果已知该元素的后一个元素，同样可以在O(1)时间内删除或者添加该元素。
缺点：
1、查询第k个元素需要O(k)时间
很显然，如果要解决的问题里面需要很多快速的查询，链表可能并不适合。一般而言，如果数据的元素个数不确定，而且需要经常进行数据的添加和删除，那么链表会比较合适，而如果数据元素大小确定，删除插入的操作并不多，那么数组可能更适合。

栈

1.栈的特点

栈的特点就是后进先出（LIFO），对于栈中的数据来说，所有操作都是在栈的顶部完成的，只可以查看栈顶部的数据，只能够向栈的顶部压⼊入数据，也只能从栈的顶部弹出数据。

因此，可以利用一个单链表来实现栈的数据结构，而且，因为只针对栈顶元素进行操作，所以借用单链表的头就能让所有栈的操作在O(1)的时间内完成。虽然可以用一个数组外加一个指针也能实现相似的效果，但是，一旦数组的长度发生了改变，哪怕只是在最后添加一个新的元素，时间复杂度不再是O(1)，而且，空间复杂度也得不到优化。

2.什么时候需要用到栈呢？

围绕栈的算法面试题很多，基本的核心思想就是：当解决某个问题的时候，只关心最近一次的操作，并且在操作完成了之后，需要向前查找到更前一次的操作。

例如，给出了一串由左括号和右括号组成的字符串，需要判断这些括号的组成是否合法。方法就是可以利用一个栈，不断地往里压左括号，一旦遇上了一个右括号，就把栈顶的左括号弹出来，表示这是一个合法的组合，以此类推，直到最后判断栈里还有没有左括号剩余。