数据采集应该如何去做_第2页回答_第2页回答_大数据

25条回答

2楼 · 2021-08-07 15:05

一，如果数量较少的话，可以自己浏览，利用简单地文档工具来进行采集；

二，是大量采集，这样很显然手动是无法满足需求的，所以一般使用工具来进行采集，工具的话，目前有以下几种：

1.使用python爬虫进行采集，或者是JAVA语言来进行编程采集，但是这就需要有专业的知识作为支撑，适合专业的数据挖掘师，可采集比较男的网站或者app数据。

2.使用市场已有的数据采集工具，现在市场上的数据采集工具也都很成熟了，大部分网络上的数据还是可以采集的，一般都是可视化操作，简单易学，难一些的网站可能需要配置规则，市场上现在比较实用的数据采集工具有：前嗅ForeSpider，火车头，八爪鱼等，我们公司也许需求，用的就是前嗅ForeSpider，因为他的功能更全一些，基本上网页上的数据都可以采集，不像一些采集软件，只能采集简单地，难一点的就需要花钱或者根本无法采集。

猫的想法不敢猜

3楼 · 2021-08-08 15:47

这个数据采集概念太大了，是工业数据采集、农业数据采集、商业数据采集、进出口数据采集等等。

如是对互联网上公开数据采集的话，自荐一下，可以试试简数采集平台。简数采集是新一代的网站文章采集和发布平台，它在线配置与云采集，功能强大，操作简单，配置快捷高效。简数不仅提供网页文章采集、数据批量修改、定时采集、定时定量自动发布等基本功能，还集成强大的SEO工具，并创新实现了规则智能提取引擎、书签一键采集发布等特色功能，大幅提升了采集配置和发布效率。采集简单，发布更轻松：支持一键发布到WorpPress、ZBlog、Discuz等十几种主流的CMS网站，还可以发布到自定义Http接口。微信公众号文章、今日头条、新闻泛采集支持一键快速采集。

IT学习助手 - qq：2676427015

4楼 · 2021-08-10 09:20

数据采集有以下几种方法：

1.人工手动采集，当然这种方法适用于采集量少，或者采集难度比较高的情况下。

2.自己编写语言脚本进行采集数据，比如python等语言，适用于批量采集；

3.使用采集工具采集，比如火车头，八爪鱼，前嗅，神箭手等采集工具，可视化工具采集，好学已入手。

采集分析的话，具体需要看你的需求及目的了，这是一个很广的名词，更多的是一种分析思路，可以借助工具但是思路采集更加重要的。

张成秀 - 快乐开心每一天

5楼 · 2021-08-17 14:51

互联网上呈现的内容都是数据信息，所以互联网数据采集又称为信息采集。做数据采集一般用爬虫，但要避开屏蔽，一般衡量数据采集用的指标是信息容量、采集频率。如果自己要做数据采集需要耗费大量的服务器，还有数据清洗处理，可以直接调用网上现成的免费数据采集接口，现在网上开源的代码也很多，比如慢慢买商品比价数据采集接口、百度百科信息数据采集接口、QQ音乐数据采集接口等，网上直接搜索调研即可。

体育组自行车

6楼 · 2021-08-19 10:38

数据采集就是搜集符合数据挖掘研究要求的原始数据（Raw Data）。原始数据是研究者拿到的一手或者二手资源。数据采集既可以从现有、可用的无尽数据中搜集提取你想要的二手数据，也可以经过问卷调查、采访、沟通等方式获得一手资料。不管用哪种方法得到数据的过程，都可以叫做数据采集。

一句话解释版本：

数据采集就是怎么获得原始数据，如果把数据采集看成吃饭，自己撸起袖子做饭就是用一手数据，点外卖就是用二手数据。

嘿呦嘿呦拔萝卜

7楼 · 2021-08-21 19:28

1、比如你的原始数据存放在DB2.DBD0里面，每个周期累加这个原始数据，并保存到DB2.DBD4里面；2、同时对累加次数计数，计数结果存放在DB2.DBD8里面；3、等1s循环时间中断OB3x事件到来时，在这个OB3x里面，用DB2.DBD4除以DB2.DBD8，这个平均值放入DB2.DBD12里面（这就是你需要的1s后数据采集的平均值）；4、然后在OB3x里面清空累计数据、累计次数

希希

8楼 · 2021-08-25 09:04

在POS集中装一个可以wifi等公交车进站的时候.POS自动连接wifi 然后通过wifi 发送数据到设置在公交站台的一个设备中，该设备通过3g网络在发送到服务器。有哪位知道什么设备可以含有此功能，可以用wif接受数据并存储，然后再通过3G网络发送。

瑶瑶吖 - 已所不欲，勿施于人

9楼 · 2021-08-26 14:02

回答: 2021-10-29 16:14

相关问题推荐

什么是大数据时代？2021-01-13 21:23

回答 100

大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，而这个海量数据的时代则被称为大数据时代。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结...
Java和大数据有什么关系？2021-01-13 21:25

回答 84

Java和大数据的关系：Java是计算机的一门编程语言；可以用来做很多工作，大数据开发属于其中一种；大数据属于互联网方向，就像现在建立在大数据基础上的AI方向一样，他两不是一个同类，但是属于包含和被包含的关系；Java可以用来做大数据工作，大数据开发或者...
大数据方向学完，都可以从事什么岗位2020-11-19 10:19

回答 52

已采纳

学完大数据可以从事很多工作，比如说：hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位！不同的岗位，所具备的技术知识也是不一样...
大数据的基本特征有哪些？2021-05-07 19:10

回答 29

简言之，大数据是指大数据集，这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。大数据的特点：数据量大、数据种类多、要求实时性强、数据所蕴藏的...
tailf、tail -f、tail -F三者区别2020-06-09 18:47

回答 14

tail -f的时候，发现一个奇怪的现象,首先我在一个窗口中 tail -f test.txt 然后在另一个窗口中用vim编辑这个文件，增加了几行字符，并保存，这个时候发现第一个窗口中并没有变化，没有将最新的内容显示出来。tail -F，重复上面的实验过程，发现这次有变化了...
听说大专学历学大数据不好找工作是么？2020-06-17 13:52

回答 18

您好针对您的问题，做出以下回答，希望有所帮助！1、大数据行业还是有非常大的人才需求的，对于就业也有不同的岗位可选，比如大数据工程师，大数据运维，大数据架构师，大数据分析师等等，就业难就难在能否找到适合的工作，能否与你的能力和就业预期匹配。2、...
大数据的数据单位有哪些？2021-05-07 19:12

回答 17

最小的基本单位是Byte应该没多少人不知道吧，下面先按顺序给出所有单位：Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，按照进率1024（2的十次方）计算：1Byte = 8 Bit1 KB = 1,024 Bytes　1 MB = 1,024 KB = 1,048,576 Bytes　1 GB = 1,024 MB = 1,048,576...
什么是“大数据”，如何理解“大数据”？2021-01-13 21:23

回答 33

大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新...
什么是MySQL?MySQL为什么有两个版本?mysql 2022-05-07 18:02

回答 5

MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL的版本：针对不同的用户，MySQL分为两种不同的版本：MySQL Community Server社区版本，免费，但是Mysql不提供...
mysql安装步骤 mysql 2022-05-07 18:01

回答 2

mysql安装需要先使用yum安装mysql数据库的软件包；然后启动数据库服务并运行mysql_secure_installation去除安全隐患，最后登录数据库，便可完成安装
mysql查看数据库命令 mysql 2022-04-20 18:59

回答 5

1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike'port';4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...
mysql数据库怎么创建表 mysql 2022-04-20 18:58

回答 5

CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT UNSIGNED AUTO_INCREMENT, `runoob_title` VARCHAR(100) NOT NULL, `runoob_author` VARCHAR(40) NOT NULL, `submission_date` DATE, PRI...
数据库增删改查要学多久 增删改查 2022-04-02 17:11

回答 9

学习多久，我觉得看你基础情况。1、如果原来什么语言也没有学过，也没有基础，那我觉得最基础的要先选择一种语言来学习，是VB,C..,pascal，看个人的喜好，一般情况下，选择C语言来学习。2、如果是有过语言的学习，我看应该一个星期差不多，因为语言的理念互通...
常用的四种sql增删改查 增删改查 2022-04-02 17:07

回答 7

添加语句 INSERT插入语句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查询插入语句： INSERT INTO 插入表 SELECT * FROM 查...
MySQL只会基础的增删改查实习期够用么？增删改查 2022-04-01 19:09

回答 5

看你什么岗位吧。如果是后端，只会CRUD。应该是可以找到实习的，不过公司应该不会太好。如果是数据库开发岗位，那这应该是不会找到的。
MySQL的增删改查语句总结 增删改查 2022-04-01 19:01

回答 7

查找数据列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name

没有解决我的问题，去提问