全栈才是python的侧重点。

===========================

若出现链接失效，请留言会及时修复

===========================

今天为大家整理了32个Python爬虫项目。

整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心。所有链接指向GitHub，祝大家玩的愉快~O(∩_∩)O

WechatSogou[1]-微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。

DouBanSpider[2]-豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet，采用UserAgent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。

zhihu_spider[3]-知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo

bilibili-user[4]-Bilibili用户爬虫。总数据数：20119918，抓取字段：用户id，昵称，性别，头像，等级，经验值，粉丝数，生日，地址，注册时间，签名，等级与经验值等。抓取之后生成B站用户数据报告。

SinaSpider[5]-新浪微博爬虫。主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注。代码获取新浪微博Cookie进行登录，可通过多账号登录来防止新浪的反扒。主要使用scrapy爬虫框架。

distribute_crawler[6]-小说下载分布式爬虫。使用scrapy,Redis,MongoDB,graphite实现的一个分布式网络爬虫,底层存储MongoDB集群,分布式使用Redis实现,爬虫状态显示使用graphite实现，主要针对一个小说站点。

CnkiSpider[7]-中国知网爬虫。设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。

LianJiaSpider[8]-链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。

scrapy_jingdong[9]-京东爬虫。基于scrapy的京东网站爬虫，保存格式为csv。

QQ-Groups-Spider[10]-QQ群爬虫。批量抓取QQ群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成XLS(X)/CSV结果文件。

wooyun_public[11]-乌云爬虫。乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在MongoDB中，大概约2G内容；如果整站爬全部文本和图片作为离线查询，大概需要10G空间、2小时（10M电信带宽）；爬取全部知识库，总共约500M空间。漏洞搜索使用了Flask作为webserver，bootstrap作为前端。

spider[12]-hao123网站爬虫。以hao123为入口页面，滚动爬取外链，收集网址，并记录网址上的内链和外链数目，记录title等信息，windows732位上测试，目前每24个小时，可收集数据为10万左右

findtrip[13]-机票爬虫（去哪儿和携程网）。Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿+携程）。

163spider[14] -基于requests、MySQLdb、torndb的网易客户端内容爬虫

doubanspiders[15]-豆瓣电影、书籍、小组、相册、东西等爬虫集writenbyPython

QQSpider[16]-QQ空间爬虫，包括日志、说说、个人信息等，一天可抓取400万条数据。

baidu-music-spider[17]-百度mp3全站爬虫，使用redis支持断点续传。

tbcrawler[18]-淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息，数据存储在mongodb。

stockholm[19]-一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。

BaiduyunSpider[20]-百度云盘爬虫。

Spider[21]-社交数据爬虫。支持微博,知乎,豆瓣。

proxypool[22]-Python爬虫代理IP池(proxypool)。

music-163[23]-爬取网易云音乐所有歌曲的评论。

jandan_spider[24]-爬取煎蛋妹纸图片。

CnblogsSpider[25]-cnblogs列表页爬虫。

spider_smooc[26]-爬取慕课网视频。

CnkiSpider[27]-中国知网爬虫。

knowsecSpider2[28]-知道创宇爬虫题目。

aiss-spider[29]-爱丝APP图片爬虫。

SinaSpider[30]-动态IP解决新浪的反爬虫机制，快速抓取内容。

csdn-spider[31]-爬取CSDN上的博客文章。

ProxySpider[32]-爬取西刺上的代理IP，并验证代理可用性

2018.8.2更新：

webspider[33]-本系统是一个主要使用python3,celery和requests来爬取职位数据的爬虫，实现了定时任务，出错重试，日志记录，自动更改Cookies等的功能，并使用ECharts+Bootstrap来构建前端页面，来展示爬取到的数据。

转载请注明来自华盟网，本文标题：《32个Python爬虫项目让你一次吃到撑》

一、Python开发基础

Python开发基础：Python语言基础基础语法、面向对象与设计模式、文件系统、Python高级应用网络编程、多任务、数据结构算法、项目实战。项目实战阶段会将之前所学到的知识串连起来让大家在实战中学习和理解相关知识。具备基本的编程思维, 掌握基础的Python编程技术, 能够完成较小程序的开发。

二、Python全栈开发

Python全栈开发：web前端开发静态页面、页面框架、web后端开发数据库、Linux操作系统、服务器集群架构、实战开发。通过实战项目搭建来进一步学习和理解系统框架、Django框架，并对当前热门的微信小程序进行学习。

三、网络爬虫

网络爬虫课程主要包括数据爬取爬虫与数据、Scrapy框架、分布式爬虫框架Mongodb+Redis、Scrapy-redis框架和项目实战。

四、人工智能机器学习编程

机器学习（科学计算库）包含人工智能概述、机器学习定义、机器学习工作流程、机器学习算法分类、算法模型评估、Azure机器学习平台实验、机器学习基础环境安装与使用、Matplotlib架构介绍、Matplotlib基本功能实现、Matplotlib实现多图显示、Matplotlib绘制各类图形、Numpy运算优势、数组的属性、数组的形状、Numpy实现数组基本操作、Numpy实现数组运算、矩阵、pandas介绍、pandas基本数据操作、DataFrame、Series、MultiIndex、panel、pandas画图、文件读取和存储、缺失值处理、数据离散化、数据合并、交叉表和透视表、分组和聚合等。

五、数据分析+人工智能数据分析

数据分析课程主要包括数据分析基础内容、数据分析-模块学习、数据分析-数据清洗、数据分析-特征工程和结果可视化。人工智能课程主要包括人工智能—机器学习、人工智能—深度学习、人工智能-拓展课程。最后通过项目实战来对当前知识进行实践，深入理解算法原理与实现步骤。

      也会根据发展的需求不断更新，适应最新的发展需求

都重要，这些技术缺一不可，所以都要学习，没有侧重点之分

python几个大方向，一个是爬虫，一个是web，一个是机器学习，一个是数据分析。

• 爬虫。python做爬虫，它认第二，没哪个语言敢认第一，绝对的霸主地位。一个scrapy框架就够好好研究一段时间了，找个网站爬一下。

• web。python的web虽然市场占有率不高，但是django开源框架从程序设计的角度非常出色，拥有比较完善的文档和社区，深入进去，你能沉浸其中无法自拔。

• 机器学习。facebook开发并开源了pytorch，一款python的机器学习库，一款使用gpu优化的深度神经网络，一出现就引起ai界业内轰动，岂有不学的道理。

• 数据分析。脱不开的几个库，numpy的数组结构，pandas的数据分析，matplotlib输出绘图，你可以把一堆无趣的数据创造成一份可视化的报告，在工作中简直有如神器。

其实都是可以学习的，毕竟现在企业要求还是希望一专多能吧，Python课程里面本身都是要学习的，总会在后期就业的时候用到，所以建议都要好好学习

每一个机构的课程体系都不一样的

但是需要学习的他们都会给你讲到，让你掌握，所以~

你还是以培训机构的具体课程大纲进行对比

Python作为目前主流编程语言之一，在企业中的应用越来越广泛，Python岗位需求也在逐年递增。广阔的发展前景吸引了一大批有志青年想要转行到Python行业，结合目前的行业现状，如果想要学习Python技术的话，参加Python培训班是大多数人的普遍选择，那参加培训Python培训机构，学习非常全面的，前端和爬虫各有侧重

第一阶段：Python核心编程——Python语言基本介绍、面向对象编程、Linux操作系统、文件系统与用户管理、进程管理与服务配置、Shell编程与bash，源文件编译、版本控制、MySQL使用、MySQL进阶等。

第二阶段：全栈开发——HTML、CSS、JavaScript、jQuery、 BootStrap、Vue、Web开发基础、数据库操作、FLask配置、Django认识、Models、Templates、Views、Tornado框架进阶、ElasticSearch等。

第三阶段：网络爬虫——爬虫与数据、Scrapy框架、Scrapy框架与信息实时抓取、定时爬取与邮件监控、NoSQL数据库、Scrapy-Redis框架、百万量数据采集等。

第四阶段：人工智能——数据分析、pyechart模块动态可视化、词云、分类算法、聚类算法、回归类算法、关联算法、卷积神经网络、TensorFlow+PaddlePaddle、图像识别等。