【Python基础】增量爬虫的方式有什么

2021-02-05 10:57发布

2条回答
人情世故
2021-03-10 15:47

1)统一更新法:爬虫以相同的频率访问所有网页,不考虑网页的改变频率;2)个体更新法:爬虫根据个体网页的改变频率来重新访问各页面;3)基于分类的更新法:爬虫根据网页改变频率将其分为更新较快网页子集和更新较慢网页子集两类,然后以不同的频率访问这两类网页。

一周热门 更多>