【Python基础】为什么要用分布式爬虫

2021-02-03 10:10发布

3条回答
赵小刀
2021-02-23 09:15

就是一群电脑去对付一台电脑。

举个例不是很郁闷么?于是,分布式爬虫上场了,我用C1,C2,C3,…………N 台电脑一起向S 发起爬数据,每台领取一份任务,降低爬的频率,但由于 N 台是并行去爬,所以效率相当惊人,把他们爬回的数据进行拼装就 OK 了。

分布式是个好东西。

又如,主力若想拉升股价,必须资金量很大,如果资金在一台电脑上集中拉升的话,交易所就记录了你的 IP,日后ZJH就容易查到你。那么主力当然会用分布式电脑来拉,把资金分散到 N 台电脑上,并且分散到 N 个帐户上,每个帐户上的资金低于ZJH查你的红线。然后用分布式程序集中控制这 N 台电脑 N 个帐号的资金联动。这样他们看到的就是 N 台电脑上的 N 个韭菜,很难判断他们是不是一起行动的,只有主力的程序才知道他们是一起行动的。


一周热门 更多>