240
网络爬虫
收录了56篇文章 ·115个问题 · 0人关注

网络爬虫知识问答社区，提供从入门到进阶网络爬虫学习过程中常见疑惑问题答案和技术分享，同时包括了资深编辑和热心网友的回答。


返回上级
0

R语言入门 Chapter02 | 矩阵与数组

R语言中比较出名的矩阵iris3 state.x77#美国五十个州八个指标12使用heatmap()函数可以直接绘制热图矩阵其实就是给向量加一个维度1、创建矩阵>x<-1:20>x[1]1234567891011121314151617181920#定义一个对象m，用来存储矩阵，第二个参数指定行数，第三个参数用来...

0

R语言入门 Chapter01 | 向量

一、向量的概念及简单介绍1、概念向量，vector，是R中最重要的一个概念，它是构成其他数据结构的基础。R中的向量概念与数学之间的向量是不同的，类似于数学上的集合的概念，由一个或多个元素所构成。向量其实是用于存储数值型、字符型或逻辑型数据的一维数组...

0

快速入门网络爬虫系列 Chapter16 | 爬虫性能提升

一、基础简介1、任务调度操作系统通常采用时间片轮转的抢占式调度方式一个任务执行一段时间后强制暂停，去执行下一个任务每个任务轮流执行2、线程与进程2.1、进程具有独立功能的程序在数据集合上的一次动态执行过程系统进行资源分配和调度的一个独立单位任务...

0

快速入门网络爬虫系列 Chapter15 | 验证码识别

一、模拟登录知乎如果访问过于频繁，服务器要求输入验证码如果短时间内在知乎上频繁的登录退出，知乎就会要求输入验证码对于比较简单的字符型验证码，可以尝试用pytesseract库识别这些验证码pytesseract是一款用于光学字符识别的Python第三方库，可以从图片中...

0

快速入门网络爬虫系列 Chapter13 | 模拟登陆

一、什么是CookieCookie，有时也用其复数形式Cookies，指某些网站为了辨别用户身份、进行session跟踪而存储在用户本地终端上的数据(通常经过加密)。Cookie是小量信息，是由Web服务器创建的，将信息存放在用户计算机的文件上通过上述页面我们可以看到，登陆上...

0

快速入门网络爬虫系列 Chapter12 | 将数据存储到数据库

数据模型是现实生活中数据的抽象，用来描述数据的概念和定义，是数据库中数据的存储方式，是数据库系统的基础。常用的数据模型有以下三种：层次模型：以树形结构表示数据之间的关系网状模型：以网，图型结构表示数据之间的关系关系模型：以二维表结构表示数据...

0

快速入门网络爬虫系列 Chapter11 | 将数据存储成文件

通常，如果我们抓取的是图片、音频、视频、文档等内容，那么我们会把东西保存成文件。importrequests image_url=&#39;http://httpbin.org/image/png&#39;file_path=&#39;test.png&#39;response=requests.get(image_url,timeout=5)withopen(f...

0

快速入门网络爬虫系列 Chapter10 | 数据结构化存储

一、结构化过程1、非结构化数据《互联网大数据处理技术与应用》一书是由曾剑平编著，并由清华大学出版社于2017年出版。 清华大学出版社成立于1980年6月，是由教育部主管、清华大学主办的综合出版单位。2、半结构化数据(书名：互联网大数据处理技术与...

0

快速入门网络爬虫系列 Chapter09 | JSON数据处理

一、JSONJSON是指JavaScript对象表示法(JavaScript Object Notation)：独立于语言和平台与XML类似，存储和交换文本信息与XML语言更快、更易解析JSON的主要表达形式：单个JSON对象，书写格式为{string:value,string:value}1、获取JSON响应通过网络库requests，...

0

快速入门网络爬虫系列 Chapter08 | 使用Python库抽取

一、基础知识点1、XpathXML路径语言(XML Path Language，XPath)是一种用来确定XML文档中某部分位置的语言基于XML的树形结构，提供在数据结构树中找寻节点的能力Xpath可以用来标记XML和HTML语言的某一部分xml格式示例：与正则表达式相同，Xpath拥有自己的语法...

0

快速入门网络爬虫系列 Chapter07 | 正则表达式

一、网页介绍1、网站静态网站：纯粹采用HTML语言编写，内容不变动态网站：①服务器段动态生成：使用ASP、PHP等语言进行编写，在服务器端运行，根据浏览器请求的地址及参数，动态从数据库中读取数据，并填入预先写好的模板中，实时生成所需要的HTML网页，返回...

0

Chapter06 | 面向百度百科得深度与宽度优先爬虫

一、需求分析1.1、爬什么网站=>百度百科：网络爬虫词条开始得三层节点=>了解网站结构数据=>词条名称、URL、描述、关键字信息=>了解数据存放位置1.2、存哪里位置=>本地磁盘文件=>确定存放位置、文件类型1.3、怎么爬网站=>百度百科策略=>无更新(百度知识比较稳...

0

Chapter05 | 抓取策略与爬虫持久化

一、抓取策略从网络爬虫的角度来看，整个互联网可以划分为：在网络爬虫的组成部分中，待抓取URL队列是最重要一环待抓取队列中的URL以什么样的顺序排列，这涉及到页面抓取的先后问题决定待抓取URL排列顺序的方法，成为抓取策略网络爬虫使用不同的抓取策略，实...

0

快速入门网络爬虫系列 Chapter04 | URL管理

一、URL去重1、URL去重的重要性网络爬虫爬取重复的URL链接，会下载相同网页的内容，造成计算资源的消耗，给服务器带来不必要的负担解决重复下载的问题，可以提高爬虫效率，减少不必要的资源消耗深度优先(DFS)和广度优先(BFS)的抓取策略，遇到的网页链接重复是...

0

快速入门网络爬虫系列 Chapter03 | 抓取网页

一、了解URL统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简介的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器怎样处理它。一个基本URL包含以下内容：模式(或称协议)、...

上一页 1 2 3 4 下一页