【Python基础】为什么要用分布式爬虫

2021-02-03 10:10发布

站内问答 / Python
1517 3 5
发送
3条回答
那些年很冒险的梦。
2楼 · 2021-02-22 09:18

分布式爬虫系统广泛应用于大型爬虫项目中，面对海量待抓取网页，只有采用分布式架构，才有可能在较短时间内完成一轮抓取工作，这也是分布式爬虫系统的意义所在。

分布式爬虫可以分为若干个分布式层级，不同的应用可能由其中部分层级构成。大型分布式爬虫主要分为以下3个层级：分布式数据中心、分布式抓取服务器及分布式爬虫程序。

大型爬虫系统一般由多个分布式数据中心共同组成，每个数据中心负责抓取本地区周边的网页。每个数据中心又由多台高速网络连接的抓取服务器构成，而每台服务器又可以部署多个爬虫程序。通过多层级的分布式爬虫体系，保证了抓取数据的及时性和全面性。

对于同一中心的多台抓取服务器，不同机器之间的分工协同方式会有差异，常见的分布式架构有两种：主从分布爬虫和对等分布爬虫。

一、 主从式分布爬虫

对于主从分布式爬虫，不同的服务器承担不同的角色分工，其中有一台专门负责对其他服务器提供URL分发服务，其他机器则进行实际的网页下载。

URL服务器维护待抓取URL队列，并从中获得待抓取网页的URL，分配给不同的抓取服务器，另外还要对抓取服务器之间的工作进行负载均衡，使得各服务器承担的工作量大致相等，不至于出现忙闲不均的情况。抓取服务器之间没有通信联系，每个待抓取服务器只和URL服务器进行消息传递。

二、 对等式分布爬虫

在对等式分布爬虫体系中，服务器之间不存在分工差异，每台服务器承担相同的功能，各自负担一部分URL的抓取工作。由于没有URL分发服务器，所以不存在系统瓶颈问题。可以保证同一网站的网页都由同一台服务器抓取，这样一方面可以提高下载效率，另外一方面也可以主动控制对某个网站的访问速度，避免对某个网站访问压力过大。


赵小刀
3楼 · 2021-02-23 09:15

就是一群电脑去对付一台电脑。

举个例不是很郁闷么？于是，分布式爬虫上场了，我用C1，C2，C3，…………N 台电脑一起向S 发起爬数据，每台领取一份任务，降低爬的频率，但由于 N 台是并行去爬，所以效率相当惊人，把他们爬回的数据进行拼装就 OK 了。

分布式是个好东西。

又如，主力若想拉升股价，必须资金量很大，如果资金在一台电脑上集中拉升的话，交易所就记录了你的 IP，日后ZJH就容易查到你。那么主力当然会用分布式电脑来拉，把资金分散到 N 台电脑上，并且分散到 N 个帐户上，每个帐户上的资金低于ZJH查你的红线。然后用分布式程序集中控制这 N 台电脑 N 个帐号的资金联动。这样他们看到的就是 N 台电脑上的 N 个韭菜，很难判断他们是不是一起行动的，只有主力的程序才知道他们是一起行动的。


征戰撩四汸
4楼 · 2021-12-10 18:00

1、网站的破解

2、爬取的效率：布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。

3、防止中断：用分布式架构中我们还用担心这个问题吗？不需要。因为爬取队列本身就是用数据库保存的，如果爬虫中断了，数据库中的Request依然是存在的，下次启动就会接着上次中断的地方继续爬取。


相关问题推荐

  • python中\n 是什么意思?2020-04-16 09:41
    回答 3

    换行。比如，print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思，'\n'是换行，'\t'是tab，'\\'是，\ 是在编写程序中句子太长百，人为换行后加上\但print出来是一整行。...

  • python中有哪些简单的算法2020-06-10 17:06
    回答 42

    十种常见排序算法一般分为以下几种：（1）非线性时间比较类排序：a. 交换类排序（快速排序、冒泡排序）b. 插入类排序（简单插入排序、希尔排序）c. 选择类排序（简单选择排序、堆排序）d. 归并排序（二路归并排序、多路归并排序）（2）线性时间非比较类排序：...

  • 人工智能好找工作吗？2020-10-11 17:45
    回答 70
    已采纳

    前景很好，中国正在产业升级，工业机器人和人工智能方面都会是强烈的热点，而且正好是在3~5年以后的时间。难度，肯定高，要求你有创新的思维能力，高数中的微积分、数列等等必须得非常好，软件编程(基础的应用最广泛的语言：C/C++)必须得很好，微电子(数字电...

  • 迭代器和生成器的区别?2020-06-10 09:20
    回答 28

    迭代器与生成器的区别：（1）生成器：生成器本质上就是一个函数，它记住了上一次返回时在函数体中的位置。对生成器函数的第二次（或第n次）调用，跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态，生成器还记住了程序...

  • python中title( )是什么意思python 2020-09-02 11:59
    回答 9

    python中title( )属于python中字符串函数，返回’标题化‘的字符串，就是单词的开头为大写，其余为小写

  • python中cnt是什么意思python 2020-09-02 11:59
    回答 6

    第一种解释：代码中的cnt是count的简称，一种电脑计算机内部的数学函数的名字，在Excel办公软件中计算参数列表中的数字项的个数；在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时，将把数值型的数字计算进去；但是...

  • python中的data[:, :-1]和data2020-12-30 11:21
    回答 1

    head是方法，所以需要取小括号，即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外，如果想通过位置取数据，请使用iloc，即dataset.iloc[:, :-1]和dataset.iloc[:, -1]，前者表示的是取所有行，但不包括最后一列的数据，结果是个DataFrame。...

  • Python入门简单吗2021-09-23 13:21
    回答 45

    挺简单的，其实课程内容没有我们想象的那么难、像我之前同学，完全零基础，培训了半年，直接出来就工作了，人家还在北京大公司上班，一个月15k，实力老厉害了

  • python的内建函数在什么位置内建函数 2022-04-02 16:28
    回答 4

    Python针对众多的类型，提供了众多的内建函数来处理(内建是相对于导入import来说的，后面学习到包package时，将会介绍)，这些内建函数功用在于其往往可对多种类型对象进行类似的操作，即多种类型对象的共有的操作；如果某种操作只对特殊的某一类对象可行，Pyt...

  • Python中注释前面加上引号是什么意思？python注释 2022-03-11 18:21
    回答 8

     相当于 ... 这里不是注释

  • 除了#TODO在pycharm还有哪些高亮的注释？python注释 2022-03-11 18:20
    回答 4

    还有FIXME

  • python写入数据到excel怎么保留excelExcel功能 2022-02-09 18:56
    回答 3

    python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。

  • Python中注释的分类python注释 2022-01-17 18:20
    回答 8

    单行注释：Python中的单行注释一般是以#开头的，#右边的文字都会被当做解释说明的内容，不会被当做执行的程序。为了保证代码的可读性，一般会在#后面加一两个空格然后在编写解释内容。示例：#  单行注释print(hello world)注释可以放在代码上面也可以放在代...

  • 如何才能实现python文件读取中对注释行的识别python注释 2022-01-06 15:06
    回答 2

    主要是按行读取，然后就是写出判断逻辑来勘测行是否为注视行，空行，编码行其他的：import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题，...

  • pycharm 为什么按ctrl/不会取消注释而是python注释 2022-01-06 15:04
    回答 4

    或许是里面有没被注释的代码

  • 零基础学习Python需要多长时间，有没有推荐的课2021-10-20 17:23
    回答 26

    自学的话要看个人情况，可以先在B站找一下视频看一下

没有解决我的问题，去提问