Python开发知识回答分享社区，提供包括Python核心编程、网络爬虫、人工智能、全栈开发等Python相关问答和技术分享。
爬虫入门经典(十) | 一文带你快速爬取网易云音乐
一、URL分析在此，博主爬取的是网易云网页版，因为一般网页版都是最好爬取的，不要问我为什么，问就是不会！网易云网页版链接：https://music.163.com/歌手信息链接：https://music.163.com//discover/artist但是由上图我们可以看出，虽然直接给出了网页链接...
爬虫入门经典(九) | 简单一文教你如何爬取扇贝单词
一、网页分析我们打开此网站之后，通过以往爬取网页的经验，会发现此网页特别容易爬取。大概查看了网页，我们只需爬取单词和含义即可。首先我们先来查看网页源码下面分别把他们解析出来：????，分析完毕后，我们就可以通过代码进行实现了。etree_obj=etree.HT...
爬虫入门经典(八) | 一文带你快速爬取股吧
一、lxml语法的简单回顾二、网页的简单分析咳咳，爬取网站信息，没有网址可怎么行呢？安排：http://guba.eastmoney.com/在打开网页之后，我们发现界面是这样的通过查看页面，我们可以看到标红部分就是我们准备爬取的内容。当然了，在进行页面解析之前，我们还...
爬虫入门经典(七) | 一文带你爬取淘宝电场
一、网页分析在前几篇文章中，虽然已经有过用正则表达式解析数据的案例，但是个人感觉干货不够！所以，本次博主诚意满满的再次带来一篇博文~下面博主先给出要爬取网页的网址：https://www.taobao.com/markets/3c/tbdc?spm=a217h.9580640.831011.1.1aa525aaKXw...
爬虫入门经典(六) | 一文带你深入了解为什么使用代理IP及其如何使用
一、为什么使用代理IP我们在做爬虫的过程中经常会遇到以下情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden，可能会看到您的IP访问频率太高这样的提示。出现这种现象的原因是网站采...
爬虫入门经典(五) | 简单一文教你如何爬取高德地图
一、 分析网页结构以往几篇都是介绍的传统的静态界面的爬取，这次博主介绍一个爬取动态网页的超简单的一个小demo。说到动态网页，你对它了解多少呢？如果对动态网页不认识的童鞋，博主在此给出链接，可以看百度百科的详细解析动态网页_百度百科以及小马夫的静...
爬虫入门经典(四) | 如何爬取豆瓣电影Top250
一、项目分析1.1 单页分析目标网站：https://movie.douban.com/top250我们打开网址，查看页面布局，可以看到有电影名称及别名、评分、引言等等，在此就以电影名称及别名、评分、引言为爬取目标。我们打开开发者选项，发现这个网页为静态网页，这样就很好爬取...
爬虫入门经典(三) | 模拟登录？一文为你排忧解惑！
通过前两天的小demo，大家是不是对Spider有了进一步的了解。是不是感觉通过短短几行代码就能够获取并保存我们想要保存的内容就很神奇，其实这些都没什么。总之，紧跟博主步伐就????了 -。-当我们真正开始数据采集的操作之后，我们遇到的第一个问题就是，如何...
爬虫入门经典(二) | 只需一行正则即可爬取某高校就业处通知公告
一. 前期准备说要爬取高校，那肯定要爬高校的，要不然就显的本博主言而无信！但是问题来了，要爬取哪个高校呢？不仅能够成功爬取到信息并且只需要一行正则表达式即可提取到相关信息。这可有点难为住博主了，正在这是 博主想到了自己学校，并且找到了自己学校...
爬虫入门经典(一) | 一文教你用Spider制作简易的翻译工具
在开始进行制作简易的翻译工具之前，我们需要先明确我们用那个翻译的接口。博主本次所选择的是百度翻译的接口。下面为百度翻译的网址：https://fanyi.baidu.com/但是，我们通过查看网页结构，我们发现这个网址并不是我们所需要的，那么我们就需要寻找接口了。...
【Hadoop技术】——集群配置
一、集群部署规划二、 配置集群2.1 配置文件2.1.1 hadoop-env.shLinux系统中获取JDK的安装路径echo$JAVA_HOME1进入hadoop-2.7.3/etc/hadoop下修改JAVA_HOME路径cd/usr/hadoop/hadoop-2.7.3/etc/hadoop vihadoop-env.sh exportJAVA_HOME=/usr/java/jdk1...
【Hadoop技术】——JDK和Hadoop安装
一、 JDK安装1.1 创建工作目录mkdir-p/usr/java1mkdir [-p] dirName-p 确保目录名称存在，不存在的就建一个。Linux mkdir命令用于建立名称为 dirName 之子目录。1.2 下载软件已下载并上传，此处跳过1.3 解压在当前压缩包位置，输入以下命令tar-zxvfjdk-8u171-...
【Hadoop技术】——Linux 系统环境准备
一、 准备软件在window系统下载了jdk。现在需要把window的jdk传输到linux系统中。Xftp直接在官网下载免费试用版即可。这部分没有什么可以说的。接【Linux】【安装】的后文，安装完CentOS7后需要配置网络，才能使windows和Liunx相互传输文件。没有设置网络，外...
【Hadoop技术】——离线分析系统结构概述
一、 需求分析案例名称XX 网/XX app 点击流日志数据挖掘系统 网站分析的主要手段是分析网站的点击流数据。 XX 网/XX app 点击流日志数据挖掘系统 网站分析的主要手段是分析网站的点击流数据。 （1）点击流的概念 点击流（ Click Stream）是指...
【Hadoop技术】——分布式系统概述
一、 分布式集群集群和分布式的区别（1）从解决问题的角度看：分布式是以缩短单个任务的执行时间来提升效率的；集群则是通过提高单位时间内执行的任务数来提升效率。（2）从软件部署的角度看：分布式是指将不同的业务分布在不同的地方；集群则是将几台服务器...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','http://www.shouhuola.com/data/category/000/00/00/big_000000017.jpg', '《Python》','http://www.shouhuola.com/cat-17','页面编码gb2312|utf-8默认gb2312'));){kind=link}