python爬虫】Python爬虫和数据分析需要哪些知识储备,自学顺序是怎样的?

2020-04-23 15:22发布

1条回答
曾为
2楼 · 2020-07-16 15:51





欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定!

对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴趣的同学加微信:tstoutiao,邀请你进入数据爱好者交流群,数据爱好者们都在这儿。

作者:陈老师,在咨询行业打拼了10+年,在如何诊断经营问题、建立分析体系、解决专项问题上有超过30个大型项目积累与实战,天善智能特邀专家。个人公众号:接地气学堂有同学问:陈老师,满互联网都是“如何从0到1学数据分析”,可我想知道,如果再晋升的话,比如去到月薪3w,5w,需要什么样的知识与能力储备?这个话题,很容易变成高薪的数据分析师们的晒命贴。问题是,如果一个同学真的科班出身,985硕士、毕业进大公司、领导赏识、同事配合、每次跳槽都踩中风口,他也不需要问这种问题了。而他的出身和运气,也是真正有问题的同学们无法复制的。所以我想换个角度,从同学们现在面临的困惑出发,看看可以怎么解决。困惑一:我干的是数据分析吗?我的前途在哪里?有此类困惑的同学,大多是从事数据分析工作,但没有数据分析名份的。如下图,比如在业务部门承担分析任务的同学。虽然做的也是销售分析、商品分析、运营分析。可技能上止于excel,能力上止于出个报表。一个部门大家都在忙业务,只有自己在跑数,完全看不到前途。






名字可能叫“数据分析XX”可没有独立部门,挂在业务下边,始终晋升空间非常有限特别是开发能力差的同学,就更郁闷了。有开发能力的同学,可能还想着自学python跳个槽。没有开发能力的同学,就会陷入深深的怀疑:我非要当个程序员才有前途?我为什么要当个程序员?难道没有不当程序员且有钱的人?当然有,大把。而且掌握数据分析能力,很容易成为其中的一员。因为业务岗位加薪的核心就是上管理层,而数据分析能力,是上管理层的核心能力之一。懂数据分析,能快速了解现状懂数据分析,能全面积累经验懂数据分析,能做出更好业绩懂数据分析,能汇报讲的更靓懂数据分析,能帮大老板分忧有这么多加持,不上管理层就见鬼了。那些有困惑的同学,和上管理层的差距,是业务知识而非数据技能。想在业务部门做领导,懂业务是第一位的,数据是强化业务的手段,不能替代业务本身。想从这条路突围的同学们,强化业务能力是第一要务。学不了开发,就别逼死自己学了。开发照样有他们的困惑。困惑二:这打杂的鬼日子什么时候是头?样样都懂样样不精怎么破!是滴,做开发的同学都有这种体验。在大厂虽然部门齐全,可部门间深沟高垒,部门内面试造航母,工作拧螺丝的。在单挑式架构里当人肉跑数机,一天2000行sql的。在草台班子当全栈!数仓,可视化,BI,爬虫样样都整一点,结果去大厂面试样样不精的。简历还不好看……刚毕业的年轻人可能体验还好,觉得进步快。持续了2-3年这种状态的就蛋疼了。技术本身也在淘汰啊!没系统工作经验,新技术又要学,压力山大!






组织齐全了,排队等着升的人就多,经常拧螺丝,晋升的空间就少;组织不全,升都没得升,看似全栈,实则样样不强。想进一步提升,当然得有一门看家本领!技术经常被淘汰,但产品可以迭代升级。所以想要突破打杂困境,得想办法积累一个属于自己的、产品化的经验。把零散的报表整成数据监控体系把每次拍脑袋的评估整成数据考核体系在推荐、广告等算法上有所突破,而不是自己瞎捣鼓个没人看的聚类分析在推送响应等有业绩的地方产出产品,而不是每次用时间序列法预测个销量走势再被业务喷回来。编程语言可以换,但如何用数据产出效益、推动业务的经验却沉淀越多,自己就自然越老越值钱。然而想达到这一步,需要的是工作能力,特别是管理能力。要:理解和识别业务需求,找到那些值钱的部分;合理规划分类需求,压缩临时跑数,推动业务用BI产品;控制业务方期望值,正确引导数据分析用法,减少黑锅和业务方谈判,多争取露脸机会,提升老板的价值感。这样,才能给自己小组多争取人手,才能减少临时跑数需求,才能提高BI产品使用率,才能从无休无止的打杂里解放出来,才有精力积累经验,才能输出和迭代产品。困惑三:跳来跳去遇到瓶颈了!为啥不能每年都涨薪30%做开发的前五年是跳槽的黄金年龄,技术还没被淘汰,经验越来越多,单身还能狂加班,人见人爱。挑一挑涨涨薪很正常。越到后边压力就会越大,技术已经开始更新,自己年龄也大了,薪资也到了一定水平。这时候很容易被hr各种卡:学历为什么不够!频繁跳槽,我们看不上!没有大厂经验啊!……说到底,还是职业规划的问题。学习技能是一回事,挣钱是另一回事,想长久的挣钱又是另一回事。真想长期考虑做什么行当,目光就得开阔一些,就得考虑在什么城市,走什么线路,做多久,是否有机会攒技能与经验。而不是眼前几K几K。就得考虑自身条件,看自己的学历、工作经验能往哪个方向走。






“我想加入互联网行业”——互联网行业有好几十个分类呢!蚂蚁金服和蝗虫理财能比吗……所以职业发展问题,真不是今年12K,明年13K,年年涨1K的事,要扩宽见识,多角度比较才行为啥网上分享,大多写从0到1?网上写文章的作者,大部分自己才毕业2-3年,甚至还没毕业。未来是啥样他们也不知道。不过这本身没啥问题,因为现在数据分析的热门博主作者,都是开发出身。技术类的工作就是拳怕少壮。技术领域可没有什么祖专代码,新技术永远更牛逼,自然更适合年轻人来讲。至于那些老头子,如果已经熬出头的,早就老婆孩子热炕头,周六开着沃尔沃去郊区钓鱼。没熬出头的,自己还在纠结要不要21天0基础学习人工智能呢,自然不会开口。陈老师是个特例。因为我现在的主要职责,就是教(hu)育(you)客(xiang)户(mu),具体开发早就交给下边9个小伙子去干了。所以非常乐于跟大家分享。我本人是科班出身(985应用数学),我的朋友从事数据的相当多,我本人大部分时间在乙方,见过了太多沧海桑田。当年我在校的时候还在学dephi,VB,我本科毕业设计还在用C#写网站,研究生毕业设计还在用lingo……本科毕业13年,技术早就淘汰了无数轮,然而我和我的朋友们,却用数据分析,以不同的方式,给自己谋取到了还不错的生活。如下图所示,还真的挺多门路。特别是走管理线。虽然眼前看起来机会很少,可拉长到13年来看,机会大把,唯一的问题是:“机会到来的时候,你准备好了吗?”






在国内企业,不上领导岗位想涨薪就是扯的,员工岗太容易遇到瓶颈了。虽然我们都喜欢吐槽自己的领导,可当取而代之,却是比艹爹骂娘更好的方法我们几个老头子聊天,常感慨生不逢时。“你看现在搞算法的小年轻,毕业年薪50w!”这种话常在耳边。“可是反过来看,我们月薪1万买房的时候,房价也才1万啊,凭啥现在的年轻人不能多拿点呢”——我补充道。每个时代,每个人都可以找到属于自己的成功方式。问题是,要真的结合自己的情况,思考“我”可以怎么做。才能在机遇到来时做好准备。最后总结一下,如果归纳一下从1到10的数据分析师成长之路,可以从以下五个方面做准备:






如果要拍顺序,应该是职业发展—技术操作—工作能力—业务知识—分析思维的顺序去提升,初入职场一技之长非常重要。分析自己的现状,看清方向提升技术能力,为起步做准备增强工作能力,保障工作顺利积累业务知识,逐步做出成绩锻炼分析思维,建立能力壁垒SO,2019年,我们不重复从0到1,我们整点从1到10的干货。后边会持续分享技能与能力提升方法,大家记得追剧哦。另,拳怕少壮吗,所以技术部分,会由公众号:Python爱好者社区的唯一小编,微软MVP王大伟老师来分享。敬请期待。- END-小编语:”老师,我想问“是日更连载,总结了部分陈老师学员群里同学问的,比较普遍的问题。想获得陈老师1对1的问题解答服务,可学习《业务知识》或《八大能力》课程,加入学员群。想获得职业发展、面试指导、可学习《求职宝典》,按要求准备材料,获得1对1服务。更多详细信息请点击阅读原文查看。推荐阅读:2019年,不想再当人肉跑数机了,求解放!销售很烂,该怎么分析原因2018年终精心整理|人工智能爱好者社区历史文章合集(作者篇)公众号后台回复关键词学习回复 免费         获取免费课程回复 直播         获取系列直播课回复 Python      1小时破冰入门Python回复 人工智能    从零入门人工智能回复深度学习 手把手教你用Python深度学习回复 机器学习 小白学数据挖掘与机器学习回复 贝叶斯算法   贝叶斯与新闻分类实战回复 数据分析师   数据分析师八大能力培养回复自然语言处理 自然语言处理之AI深度学习



相关问题推荐

  • 回答 5

    现在是大数据人工智能时代,数据是核心资源。但大部分企业是没有数据的,或者数据很少。要得到数据,要么花钱购买,要么使用爬虫进行爬取。所以,爬虫是大数据和人工智能的基础。这是智联招聘网站爬虫岗位最新的招聘信息。可以看出工资水平还是相当高的。在掌...

  • 回答 2

    爬虫也是python一个很重要的一个应用方向,那么爬虫需要哪些知识呢?1 要具备扎实的python语法基础,这是一切的根基2 对前端知识有一定的了解,起码做到能看懂3 如何获取目标数据:requests模块等4 如何解析目标数据:正则,xpath,jsonpath等5 如何做到做到...

  • 回答 4

    爬虫是python的一个使用方向,包含网页数据爬取和手机app数据爬取。爬下来数据之后,还有数据存储和清洗等工作要做。爬虫程序代码编写完成,还需要进行部署、启动、暂停、维护等一系列工作。现在是大数据人工智能时代,大数据的主要来源之一就是爬虫。因此,...

  • 回答 3

    小伙伴们,大家好!这次来填坑了,关于前后端分离这个话题,我必须要交作业了,因为在私信里实在被问得太频繁了。前后端分离的开发模式,这两年确实被炒得如火如荼,导致这个话题也成了面试极其爱问的一个问题,尤其是换工作、跳槽,之前不管你是做后端,还是...

  • 回答 2

    转载请注明作者和出处:http://blog.csdn.net/c406495762Github代码获取:https://github.com/Jack-Cherish/python-spiderPython版本:Python3.x运行平台:WindowsIDE:Sublimetext3 更多教程,请查看:https://cuijiahua.com/blog/spider/ 一前言**强烈建议...

  • 回答 7

    代理ip网址http://www.goubanjia.com/http://www.ip181.com/https://www.kuaidaili.com/python 环境安装requests库安装bs4库proxies设置代理服务器地址proxies = {'http':  'http://61.155.164.110:3128'}http://www.goub......

  • 回答 2

    import  requestsimport  jsonfrom bs4 import BeautifulSoupfrom    urllib.request import urlretrieve#构造函数def sk():    #请求头    header={        'user-Agent':'Mozilla/5.0 (Windows NT 10.0; W...

  • 回答 3

    针对字符串中本身含有双引号,我们可以利用单引号进行字符串的定义来解决这个问题。使用单引号作为字符串的界限就不会引起识别异常问题,保证字符串的合理定义

  • 回答 2

    要用unicode编码来替换。

  • 回答 4
    已采纳

    百科中的定义,网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。这里面关键在于自动获取,相比手动通过浏览器获取信息,自动脚本执行的效率会大大提高,现代社...

  • 回答 2

    首先要认识爬虫请求模块requests,会对网页进行简单的分析。了解爬虫提取数据的xpath、re两个方法,有助于爬虫方面的提取。最后就是爬虫框架Scrapy,可以提高爬取速度,增加效率。

  • 回答 1

    python工程师是从事以Python编程语言为核心技术的工作,包含多中岗位多个工种(有WEB开发工程师、运维工程师、测试工程师、爬虫工程师、数据分析工程师、算法工程师等等);Python爬虫工程师是一个Python所有岗位中的一个工作方向,主要负责数据采集和基本筛...

  • 回答 1

    爬虫,顾名思义,就是爬取别人数据,是当前社会必不可少的一项技术

  • 回答 1

    三种方法可以获得免费股票数据1 用tushare库 http://tushare.org2 python量化平台提供 例如聚宽https://www.joinquant.com3 利用现成的交易软件 写一个获取数据 输出的指标

  • 回答 1

    举一些例子:知乎:爬取优质答案,为你筛选出各话题下最优质的内容。淘宝、京东:抓取商品、评论及销量数据,对各种商品及用户的消费场景进行分析。安居客、链家:抓取房产买卖及租售信息,分析房价变化趋势、做不同区域的房价分析。拉勾网、智联:爬取各类职...

没有解决我的问题,去提问