2021-06-28 19:22发布
01 网络公开数据集02 数据报采集03 网络爬虫04 日志收集05 社会调查06 业务数据集07 埋点采集08 传感器采集09 数据交易平台10 个人数据收集
火车采集器：可以做数据抓取，数据清洗、分析、挖掘、可视化等。
搜集客：采集数据，所有爬虫需要在自己电脑上跑。
八爪鱼：免费版、付费版（云采集）。有固定模板，也可以自定义任务。
python爬虫：自行编写代码爬取数据（对python编程有一定的要求）。
发源地云采集引擎、火车头、八爪鱼、集搜客
发源地云采集引擎 网站：http://www.finndy.com/
狂人采集器
熊猫采集软件
1.单纯随机抽样法该方法适用于对母体缺乏基本了解的情况。利用随机数表和一个六面体骰子作为随机抽样的工具，通过掷骰子所得的数字，相应地查对随机数表上的数值，然后确定抽取试样编号。2.随机数骰子法将待抽样的产品分成若干组，每组产品数目不超过6个，按顺序排好并标上编号。然后掷骰子，每次骰子正面数，即为各组抽取的试样编号。3.系统抽样法该方法适用于流水线上取样，是采用间隔一定时间或空间抽取试样的方法。值得注意的是，当产品特性有周期性变化时，采用这种方法容易产生偏差。4.二次抽样法该方法是从组成母体的若干分批中抽取一定数量的分批，然后再从每一分批中随机抽取一定数量的样本。5.分层抽样法该方法是将批分成若干层次，然后从这些层中随机采集样本。
Octoparse，八爪鱼
来源于网友推荐
1.数据库引擎Microsoft JET (Joint Engineering Technologe) 是Access和Visual Basic所提供的内嵌数据库功能的核心元素。JET是一种全能关系数据库引擎，可用来处理大多数中小型数据库。所谓数据库引擎是应用程序和数据库存储之间的一种接口，它将与数据库有关的内存管理、游标管理和错误管理等具体而复杂的细节问题抽象为一个既高度一致又简化的编程接口。Jet数据库引擎包含在一组动态链接库(DLL)文件中，在运行时，这些文件被链接到Visual Basic程序。它把应用程序的请求翻译成对.mdb文件或其他数据库的物理操作。它真正读取、写入和修改数据库，并处理所有内部事务，如索引、锁定、安全性和引用完整性等。它还包含一个查询处理器，用于接收并执行结构化查询语言(SQL)的查询来实现所需的数据库操作。另外，Jet数据库引擎还包含一个结果处理器．用来管理查询所返回的结果。2.ODBCOpen DataBase Connectivity（ODBC，开放数据库互连）是由Microsoft定义的一种数据库访问标准，它提供一种标准的数据库访问方法以访问不同平台的数据库。一个ODBC应用程序既可以访问在本地PC机上的数据库，也可以访问多种异构平台上的数据库，例如SQL Server、Oracle或者DB2。ODBC本质上是一组数据库访问API（应用编程接口），但编程人员通过ODBC访问数据库时无需深入理解ODBC函数就可以访问ODBC功能，这是因为象Visual Basic这样的开发工具都提供了一些对象封装了ODBC函数。
1.数据库引擎Microsoft JET (Joint Engineering Technologe) 是Access和Visual Basic所提供的内嵌数据库功能的核心元素。JET是一种全能关系数据库引擎，可用来处理大多数中小型数据库。所谓数据库引擎是应用程序和数据库存储之间的一种接口，它将与数据库有关的内存管理、游标管理和错误管理等具体而复杂的细节问题抽象为一个既高度一致又简化的编程接口。Jet数据库引擎包含在一组动态链接库(DLL)文件中，在运行时，这些文件被链接到Visual Basic程序。它把应用程序的请求翻译成对.mdb文件或其他数据库的物理操作。它真正读取、写入和修改数据库，并处理所有内部事务，如索引、锁定、安全性和引用完整性等。它还包含一个查询处理器，用于接收并执行结构化查询语言(SQL)的查询来实现所需的数据库操作。另外，Jet数据库引擎还包含一个结果处理器．用来管理查询所返回的结果。2.ODBCOpen DataBase Connectivity（ODBC，开放数据库互连）是由Microsoft定义的一种数据库访问标准，它提供一种标准的数据库访问方法以访问不同平台的数据库。一个ODBC应用程序既可以访问在本地PC机上的数据库，也可以访问多种异构平台上的数据库，例如SQL Server、Oracle或者DB2。ODBC本质上是一组数据库访问API（应用编程接口），但编程人员通过ODBC访问数据库时无需深入理解ODBC函数就可以访问ODBC功能，这是因为象Visual Basic这样的开发工具都提供了一些对象封装了ODBC函数。3.OLE DBOLE DB是Microsoft开发的最新数据库访问接口，Microsoft将其定义为ODBC接班人。与ODBC类似，OLE DB提供了对关系数据库的访问，同时在此基础上，它对ODBC所提供的功能进行了一部分的扩展。作为一种标准的接口，OLE DB可以访问所有类型的数据，包括关系数据库、dBase等ISAM（索引序列访问方法）类型的文件、甚至E-MAIL或者Windows 2000活动目录等。OLE DB应用程序可以分为两种：OLE DB提供者(OLE DB Provider)和OLE DB使用者(OLE DB Consumer)，OLE DB使用者就是使用OLE DB接口的应用程序，而OLE DB提供者负责访问数据源，并通过OLE DB接口向OLE DB使用者提供数据。
创建test文件夹hadoop fs -mkdir /test
Hadoop的三大核心组件分别是：1、HDFS(Hadoop Distribute File System)：hadoop的数据存储工具。2、YARN(Yet Another Resource Negotiator,另一种资源协调者)：Hadoop 的资源管理器。3、Hadoop MapReduce:分布式计算框架。HDFS是一个高度容错性的系统，适合部...
hbase依靠HDFS来存储底层数据。Hadoop分布式文件系统(HDFS)为HBase提供了高可靠性的底层存储支持，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。
HBase分布式数据库具有如下的显著特点：容量大：HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase是面向列的存储和权限控制，并支持独立检索。列存储，其数据在表中是按照某列存储的，根据数据动态的增加列，并且可以单独对列进行...
解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务...
1、HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的读取时长通常是几十微秒。性能相差非常大。2、HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰富的类型。3、Redis支持的数据量通常受内存限制，而HBase没有这个限制，可以存储远超内存大小...
列式存储格式是指以列为单位存储数据的数据存储格式，相比于传统的行式存储格式，它具有压缩比高、读I/O少(此处指可避免无意义的读I/O)等优点，目前被广泛应用于各种存储引擎中。对于HBase而言，它并不是一个列式存储引擎，而是列簇式存储引擎，即同一列簇中...
一、简单理解Hadoop是一个大象：一个hadoop集群主要包含三个主要的模块：Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架，注意他不是一个集群，而是一个编程框架。hdfs是一个分布式文件系统，是一个分布式集群，用于存放数据。yarn集群是负责集群...
1 Hadoop 各个目录的解释bin：Hadoop管理脚本和使用脚本所在目录， sbin目录下的脚本都是使用此目录下的脚本实现的。etc：Hadoop的所有配置文件所在的目录，所有hadoop的配置在etc/hadoop目录下include:对外提供的库的头文件lib ：对外提供的动态编程库和静态...
HDFS存储机制，包括HDFS的写入过程和读取过程两个部分： 1、写入过程： 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）nam...
adoop核心：MapReduce原理。 MR的核心是shuffle，被称为奇迹发生的地方。 shuffle，弄乱，洗牌的意思。partition 分区，sort 排序，spill溢出，disk 磁盘下面是官方对shuffle的配图： phase 阶段，fetch 最终，merge 合并...
Shuffle阶段分为两部分:Map端和Reduce端。一 map端shuffle过程；1-内存预排序：默认每个map有100M内存进行预排序（为了效率），超过阈值，会把内容写到磁盘； 此过程使用快速排序算法；2-根据key和reducer的数量进行分区和排序；首先根据数据所属的Parti...
大数据时代需要1存储大量数据2快速的处理大量数据3从大量数据中进行分析
hadoop的四种模式。1、本地模式：本地模式就是解压源码包，不需要做任何的配置。通常用于开发调试，或者感受hadoop。2、伪分布模式：在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却...
进入和退出安全模式 [root@localhost bin]# ./hdfs dfsadmin -safemode enter15/08/03 07:26:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ......
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 饕餮少女 的问题《常用的数据采集引擎有哪些？》','http://www.shouhuola.com/q-36632.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
01 网络公开数据集
02 数据报采集
03 网络爬虫
04 日志收集
05 社会调查
06 业务数据集
07 埋点采集
08 传感器采集
09 数据交易平台
10 个人数据收集
火车采集器：可以做数据抓取，数据清洗、分析、挖掘、可视化等。
搜集客：采集数据，所有爬虫需要在自己电脑上跑。
八爪鱼：免费版、付费版（云采集）。有固定模板，也可以自定义任务。
python爬虫：自行编写代码爬取数据（对python编程有一定的要求）。
发源地云采集引擎、火车头、八爪鱼、集搜客
发源地云采集引擎 网站：http://www.finndy.com/
狂人采集器
熊猫采集软件
1.单纯随机抽样法该方法适用于对母体缺乏基本了解的情况。利用随机数表和一个六面体骰子作为随机抽样的工具，通过掷骰子所得的数字，相应地查对随机数表上的数值，然后确定抽取试样编号。2.随机数骰子法将待抽样的产品分成若干组，每组产品数目不超过6个，按顺序排好并标上编号。然后掷骰子，每次骰子正面数，即为各组抽取的试样编号。3.系统抽样法该方法适用于流水线上取样，是采用间隔一定时间或空间抽取试样的方法。值得注意的是，当产品特性有周期性变化时，采用这种方法容易产生偏差。4.二次抽样法该方法是从组成母体的若干分批中抽取一定数量的分批，然后再从每一分批中随机抽取一定数量的样本。5.分层抽样法该方法是将批分成若干层次，然后从这些层中随机采集样本。
Octoparse，八爪鱼
来源于网友推荐
1.数据库引擎
Microsoft JET (Joint Engineering Technologe) 是Access和Visual Basic所提供的内嵌数据库功能的核心元素。JET是一种全能关系数据库引擎，可用来处理大多数中小型数据库。所谓数据库引擎是应用程序和数据库存储之间的一种接口，它将与数据库有关的内存管理、游标管理和错误管理等具体而复杂的细节问题抽象为一个既高度一致又简化的编程接口。
Jet数据库引擎包含在一组动态链接库(DLL)文件中，在运行时，这些文件被链接到Visual Basic程序。它把应用程序的请求翻译成对.mdb文件或其他数据库的物理操作。它真正读取、写入和修改数据库，并处理所有内部事务，如索引、锁定、安全性和引用完整性等。它还包含一个查询处理器，用于接收并执行结构化查询语言(SQL)的查询来实现所需的数据库操作。另外，Jet数据库引擎还包含一个结果处理器．用来管理查询所返回的结果。
2.ODBC
Open DataBase Connectivity（ODBC，开放数据库互连）是由Microsoft定义的一种数据库访问标准，它提供一种标准的数据库访问方法以访问不同平台的数据库。一个ODBC应用程序既可以访问在本地PC机上的数据库，也可以访问多种异构平台上的数据库，例如SQL Server、Oracle或者DB2。
ODBC本质上是一组数据库访问API（应用编程接口），但编程人员通过ODBC访问数据库时无需深入理解ODBC函数就可以访问ODBC功能，这是因为象Visual Basic这样的开发工具都提供了一些对象封装了ODBC函数。
1.数据库引擎
Microsoft JET (Joint Engineering Technologe) 是Access和Visual Basic所提供的内嵌数据库功能的核心元素。JET是一种全能关系数据库引擎，可用来处理大多数中小型数据库。所谓数据库引擎是应用程序和数据库存储之间的一种接口，它将与数据库有关的内存管理、游标管理和错误管理等具体而复杂的细节问题抽象为一个既高度一致又简化的编程接口。
Jet数据库引擎包含在一组动态链接库(DLL)文件中，在运行时，这些文件被链接到Visual Basic程序。它把应用程序的请求翻译成对.mdb文件或其他数据库的物理操作。它真正读取、写入和修改数据库，并处理所有内部事务，如索引、锁定、安全性和引用完整性等。它还包含一个查询处理器，用于接收并执行结构化查询语言(SQL)的查询来实现所需的数据库操作。另外，Jet数据库引擎还包含一个结果处理器．用来管理查询所返回的结果。
2.ODBC
Open DataBase Connectivity（ODBC，开放数据库互连）是由Microsoft定义的一种数据库访问标准，它提供一种标准的数据库访问方法以访问不同平台的数据库。一个ODBC应用程序既可以访问在本地PC机上的数据库，也可以访问多种异构平台上的数据库，例如SQL Server、Oracle或者DB2。
ODBC本质上是一组数据库访问API（应用编程接口），但编程人员通过ODBC访问数据库时无需深入理解ODBC函数就可以访问ODBC功能，这是因为象Visual Basic这样的开发工具都提供了一些对象封装了ODBC函数。
3.OLE DB
OLE DB是Microsoft开发的最新数据库访问接口，Microsoft将其定义为ODBC接班人。与ODBC类似，OLE DB提供了对关系数据库的访问，同时在此基础上，它对ODBC所提供的功能进行了一部分的扩展。作为一种标准的接口，OLE DB可以访问所有类型的数据，包括关系数据库、dBase等ISAM（索引序列访问方法）类型的文件、甚至E-MAIL或者Windows 2000活动目录等。
OLE DB应用程序可以分为两种：OLE DB提供者(OLE DB Provider)和OLE DB使用者(OLE DB Consumer)，OLE DB使用者就是使用OLE DB接口的应用程序，而OLE DB提供者负责访问数据源，并通过OLE DB接口向OLE DB使用者提供数据。
相关问题推荐
创建test文件夹hadoop fs -mkdir /test
Hadoop的三大核心组件分别是：1、HDFS(Hadoop Distribute File System)：hadoop的数据存储工具。2、YARN(Yet Another Resource Negotiator,另一种资源协调者)：Hadoop 的资源管理器。3、Hadoop MapReduce:分布式计算框架。HDFS是一个高度容错性的系统，适合部...
hbase依靠HDFS来存储底层数据。Hadoop分布式文件系统(HDFS)为HBase提供了高可靠性的底层存储支持，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。
HBase分布式数据库具有如下的显著特点：容量大：HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase是面向列的存储和权限控制，并支持独立检索。列存储，其数据在表中是按照某列存储的，根据数据动态的增加列，并且可以单独对列进行...
解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务...
1、HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的读取时长通常是几十微秒。性能相差非常大。2、HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰富的类型。3、Redis支持的数据量通常受内存限制，而HBase没有这个限制，可以存储远超内存大小...
列式存储格式是指以列为单位存储数据的数据存储格式，相比于传统的行式存储格式，它具有压缩比高、读I/O少(此处指可避免无意义的读I/O)等优点，目前被广泛应用于各种存储引擎中。对于HBase而言，它并不是一个列式存储引擎，而是列簇式存储引擎，即同一列簇中...
一、简单理解Hadoop是一个大象：一个hadoop集群主要包含三个主要的模块：Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架，注意他不是一个集群，而是一个编程框架。hdfs是一个分布式文件系统，是一个分布式集群，用于存放数据。yarn集群是负责集群...
1 Hadoop 各个目录的解释bin：Hadoop管理脚本和使用脚本所在目录， sbin目录下的脚本都是使用此目录下的脚本实现的。etc：Hadoop的所有配置文件所在的目录，所有hadoop的配置在etc/hadoop目录下include:对外提供的库的头文件lib ：对外提供的动态编程库和静态...
HDFS存储机制，包括HDFS的写入过程和读取过程两个部分： 1、写入过程： 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）nam...
adoop核心：MapReduce原理。 MR的核心是shuffle，被称为奇迹发生的地方。 shuffle，弄乱，洗牌的意思。partition 分区，sort 排序，spill溢出，disk 磁盘下面是官方对shuffle的配图： phase 阶段，fetch 最终，merge 合并...
Shuffle阶段分为两部分:Map端和Reduce端。一 map端shuffle过程；1-内存预排序：默认每个map有100M内存进行预排序（为了效率），超过阈值，会把内容写到磁盘； 此过程使用快速排序算法；2-根据key和reducer的数量进行分区和排序；首先根据数据所属的Parti...
大数据时代需要1存储大量数据2快速的处理大量数据3从大量数据中进行分析
hadoop的四种模式。1、本地模式：本地模式就是解压源码包，不需要做任何的配置。通常用于开发调试，或者感受hadoop。2、伪分布模式：在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却...
进入和退出安全模式 [root@localhost bin]# ./hdfs dfsadmin -safemode enter15/08/03 07:26:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ......