2020-04-13 14:29发布
分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样可以提高爬虫速度。
在默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他的电脑无法访问另外一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可以让scrapy结合scrapy_redis来完成。
1、达到一个备份的功能，一旦master出现崩溃，而数据库中还有数据的话
可以将其中的一个slave重新设置为主服务器，从而恢复Redis的正常运行
2、一个Redis服务器负责读写，性能较低，通过主从来减轻一个Redis的压力完成需求
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 小猪仔 的问题《分布式爬虫框架都需要学习什么》','http://www.shouhuola.com/answer/5083/130076.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样可以提高爬虫速度。
在默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他的电脑无法访问另外一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可以让scrapy结合scrapy_redis来完成。
1、达到一个备份的功能，一旦master出现崩溃，而数据库中还有数据的话
可以将其中的一个slave重新设置为主服务器，从而恢复Redis的正常运行
2、一个Redis服务器负责读写，性能较低，通过主从来减轻一个Redis的压力完成需求
一周热门 更多>