2020-04-24 12:39发布
一般来说不违法，看你的数据来源是不是公开的、被允许的。如果你是偷偷获得的，那么也会面临纠纷
搜索引擎不就是爬网页然后对其中的内容建索引吗？如果爬虫技术天生违法，那么搜索引擎就都是非法的了。显然这与事实相违背。
事实上一种技术本身谈不上违法，基于这种技术的应用才有合法违法之分。搜索引擎是一种应用，为什么不违法，是基于几个前提：一是利益交换前提，在网页泛滥的时代，网站需要流量，而被搜到然后访问是一个很好的流量来源，所以被搜索引擎爬是有好处的。第二是授权的前提，网页被公开访问，默认可以被搜索引擎爬，但也可以通过robot协议约束搜索引擎可爬的范围。robot协议更多是一种软性的约束，是属于约定俗成，正规的搜索引擎会根据这个来爬被允许访问的页面，如无约束则默认都爬。
那么什么样的爬虫应用是违法的呢？第一是未经授权将别人的网站或者应用里的数据爬过来，这属于窃取信息的性质。第二是将爬来的信息进行直接售卖或者为己所用获利。第三是泄露爬到的信息里的个人隐私，无论是否获利，均涉嫌泄露个人信息罪。
爬取网上公开信息不犯法，但如果大量开启爬虫导致对方服务器崩溃也是违法的，这属于暴力攻击的范畴了。
在python中列表(list)是使用最频繁的数据类型，在其他语言中通常叫做数组。列表由一系列按特定顺序排列的元素组成。你可以创建包含字母表中所有字母、数字0~9或所有家庭成员姓名的列表;也可以将任何东西加入列表中，其中的元素之间可以没有任何关系。...
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。...
因为Python可以做数据分析 数据挖掘，数据挖掘的话简单来说就是爬虫工程师
1)学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。有的朋友希望能够深层次地了解搜索引擎的爬虫工作原理，或者希望自己能够开发出一款私人搜索引擎，那么此时，学习爬虫是非常有必要的。简单来说，我们学会了...
大部分数据都是可以爬的，不过有些网站对数据的加密做的非常好，在解析的过程中要消耗很长的时间。
抓取数据，进行统计和分析
在成都找网络爬虫工作也是可以的，自己可以先到招聘软件上看看当地招聘的需求量以及薪资待遇水平怎么样，要是能达到自己的预期效果可以在当地工作，要不可以到北上广深找工作，就业机会能更多些。...
两种方式，一种是MySQL自带的命令行窗口，一种是图形用户管理工具，前者类似于一个cmd窗口，日常管理维护数据库不是很方便，后者就是一个图形用户管理软件，种类繁多，使用起来也相对容易一些...
不可以所有编程最起码都得学函数，分支，循环之后才可以编写代码
一台主机 多台从机
一、分布式爬虫架构在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。Scrapy单机爬虫中有一个本地爬取队列Queue，这个队列是利用deque模块实现的。如果新的Request生成就会放到队列里面，随后Request被Scheduler调度。之后，Request交给Down...
代理ip网址http://www.goubanjia.com/http://www.ip181.com/https://www.kuaidaili.com/python 环境安装requests库安装bs4库proxies设置代理服务器地址proxies = {'http': 'http://61.155.164.110:3128'}http://www.goub......
import requestsimport jsonfrom bs4 import BeautifulSoupfrom urllib.request import urlretrieve#构造函数def sk(): #请求头 header={ 'user-Agent':'Mozilla/5.0 (Windows NT 10.0; W...
针对字符串中本身含有双引号，我们可以利用单引号进行字符串的定义来解决这个问题。使用单引号作为字符串的界限就不会引起识别异常问题，保证字符串的合理定义
要用unicode编码来替换。
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 苏橙C 的问题《爬虫究竟是合法还是违法的？》','http://www.shouhuola.com/q-7916.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
一般来说不违法，看你的数据来源是不是公开的、被允许的。如果你是偷偷获得的，那么也会面临纠纷
搜索引擎不就是爬网页然后对其中的内容建索引吗？如果爬虫技术天生违法，那么搜索引擎就都是非法的了。显然这与事实相违背。
事实上一种技术本身谈不上违法，基于这种技术的应用才有合法违法之分。搜索引擎是一种应用，为什么不违法，是基于几个前提：一是利益交换前提，在网页泛滥的时代，网站需要流量，而被搜到然后访问是一个很好的流量来源，所以被搜索引擎爬是有好处的。第二是授权的前提，网页被公开访问，默认可以被搜索引擎爬，但也可以通过robot协议约束搜索引擎可爬的范围。robot协议更多是一种软性的约束，是属于约定俗成，正规的搜索引擎会根据这个来爬被允许访问的页面，如无约束则默认都爬。
那么什么样的爬虫应用是违法的呢？第一是未经授权将别人的网站或者应用里的数据爬过来，这属于窃取信息的性质。第二是将爬来的信息进行直接售卖或者为己所用获利。第三是泄露爬到的信息里的个人隐私，无论是否获利，均涉嫌泄露个人信息罪。
爬取网上公开信息不犯法，但如果大量开启爬虫导致对方服务器崩溃也是违法的，这属于暴力攻击的范畴了。
相关问题推荐
在python中列表(list)是使用最频繁的数据类型，在其他语言中通常叫做数组。列表由一系列按特定顺序排列的元素组成。你可以创建包含字母表中所有字母、数字0~9或所有家庭成员姓名的列表;也可以将任何东西加入列表中，其中的元素之间可以没有任何关系。...
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。...
因为Python可以做数据分析 数据挖掘，数据挖掘的话简单来说就是爬虫工程师
1)学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。有的朋友希望能够深层次地了解搜索引擎的爬虫工作原理，或者希望自己能够开发出一款私人搜索引擎，那么此时，学习爬虫是非常有必要的。简单来说，我们学会了...
大部分数据都是可以爬的，不过有些网站对数据的加密做的非常好，在解析的过程中要消耗很长的时间。
抓取数据，进行统计和分析
在成都找网络爬虫工作也是可以的，自己可以先到招聘软件上看看当地招聘的需求量以及薪资待遇水平怎么样，要是能达到自己的预期效果可以在当地工作，要不可以到北上广深找工作，就业机会能更多些。...
两种方式，一种是MySQL自带的命令行窗口，一种是图形用户管理工具，前者类似于一个cmd窗口，日常管理维护数据库不是很方便，后者就是一个图形用户管理软件，种类繁多，使用起来也相对容易一些...
不可以所有编程最起码都得学函数，分支，循环之后才可以编写代码
一台主机 多台从机
一、分布式爬虫架构在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。Scrapy单机爬虫中有一个本地爬取队列Queue，这个队列是利用deque模块实现的。如果新的Request生成就会放到队列里面，随后Request被Scheduler调度。之后，Request交给Down...
代理ip网址http://www.goubanjia.com/http://www.ip181.com/https://www.kuaidaili.com/python 环境安装requests库安装bs4库proxies设置代理服务器地址proxies = {'http': 'http://61.155.164.110:3128'}http://www.goub......
import requestsimport jsonfrom bs4 import BeautifulSoupfrom urllib.request import urlretrieve#构造函数def sk(): #请求头 header={ 'user-Agent':'Mozilla/5.0 (Windows NT 10.0; W...
针对字符串中本身含有双引号，我们可以利用单引号进行字符串的定义来解决这个问题。使用单引号作为字符串的界限就不会引起识别异常问题，保证字符串的合理定义
要用unicode编码来替换。