尊敬的各位用户：一直以来，AV 号都是 B 站视频稿件的重要标识，在视频的传播和分享中起到了关键作用。为了保护稿件信息安全，容纳更多投稿，维护 UP 主的权益，自 2020 年 3 月 23 日起，A...
尊敬的各位用户：
一直以来，AV 号都是 B 站视频稿件的重要标识，在视频的传播和分享中起到了关键作用。
为了保护稿件信息安全，容纳更多投稿，维护 UP 主的权益，自 2020 年 3 月 23 日起，AV 号将全面升级为 BV 号。与纯数字的 AV 号不同，BV 号是一段由数字和大小写字母组成的字符串，经过算法自动生成。未来将统一使用 BV 号作为稿件标识。
同时，2020 年 3 月 23 日前生成 AV 号的相关功能保持不变。例如，已分享的稿件链接，AV号搜索，以及动态、评论、私信中的高亮跳转。
此外，用户在复制 BV 号或者包含 BV 号的链接后，打开 B 站 APP 的同时会自动跳转至该视频。
更多详细规则说明请见链接 FAQ：https://www.bilibili.com/blackboard/activity-BV-PC.html
BV 号将继续见证 UP 主们在这个舞台上创造无限的可能。陪伴大家的每一次灵感迸发，为每一个创意而干杯喝彩！
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 小鲸鱼 的问题《如何看待 2020 年 3 月 23 日哔哩哔哩将稿件的「av 号」变更为「BV 号」？》','http://www.shouhuola.com/q-879.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
本系列文章旨在分享python学习的心得，所涉及的视频和up主皆是值得与大家分享的，如有冒犯，望请谅解。
本期任务：使用Python下载B站大佬投稿页所有视频
【Python】第1节：常规方法与you-get
【Python】第2节：进程池的应用
【Python】第3节：Beautifulsoup+requests+selenium获取视频url
【Python】第4节：常见问题的解决（2020年3月23日哔哩哔哩将稿件的「av号」变更为「BV号」）
完整GitHub代码：BilibiliDownloader
问题一：哔哩哔哩网页URL变更
2020年3月23日哔哩哔哩将稿件的「av号」变更为「BV号」，但you-get目前只能下载av号对应的视频资源。
解决方案，对BV号进行解码：
classCoder:
def__init__(self):
self.table='fZodR9XQDSUm21yCkr6zBqiveYah8bt4xsWpHnJE7jL5VG3guMTKNPAwcF'
self.tr={self.table[i]:iforiinrange(58)}
self.s=[11,10,3,8,4,6]
self.xor=177451812
self.add=8728348608
defdec(self,x):
r=0
foriinrange(6):
r+=self.tr[x[self.s[i]]]*58**i
return(r-self.add)^self.xor
defenc(self,x):
x=(x^self.xor)+self.add
r=list('BV1417')
foriinrange(6):
r[self.s[i]]=self.table[x//58**iX]
return''.join(r)
使用方法：
>>>coder=Coder()
>>>coder.dec("BV1yE411F7tp")
98382779
参考：
如何看待2020年3月23日哔哩哔哩将稿件的「av号」变更为「BV号」？
本系列文章旨在分享python学习的心得，所涉及的视频和up主皆是值得与大家分享的，如有冒犯，望请谅解。
本期任务：使用Python下载B站大佬投稿页所有视频
【Python】第1节：常规方法与you-get
【Python】第2节：进程池的应用
【Python】第3节：Beautifulsoup+requests+selenium获取视频url
【Python】第4节：常见问题的解决（2020年3月23日哔哩哔哩将稿件的「av号」变更为「BV号」）
完整GitHub代码：BilibiliDownloader
上一节，我们实现了用multiprocessing实现多进程调用you-get下载哔哩哔哩技术视频，解决了CPU和带宽利用率低的问题。本节我们将介绍使用Beautifulsoup+requests+selenium，实现简单的爬虫，获取大牛技术视频url。
任务描述
本节我们将以CodeSheep（博主最喜欢的Javaup主！！！）的投稿页的79个视频url为目标进行爬取。难点：网页解析，动态加载（反爬机制）
完整代码
importos
importtime
importrequests
frombs4importBeautifulSoup
fromseleniumimportwebdriver
#给定哔哩哔哩up主投稿页链接，爬取所有视频链接
classRequestsSpider:
def__init__(self,pages,**kwargs):
self.depth=pages#CodeSheep投稿页功79个视频，分成3页
ifkwargs.get('selenium'):
self.browser=self.selenium()
defselenium(self):
executable_path=r"输入chromedriver.exe的存放路径"
chrome_options=webdriver.ChromeOptions()
"""后台运行Chromedriver"""
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
browser=webdriver.Chrome(executable_path=executable_path,chrome_options=chrome_options)
"""全屏显示"""
browser.maximize_window()
time.sleep(5)
returnbrowser
defdownloader1(self,url):
“”“
需动态加载时,使用selenium加载完整页面再返回
”“”
self.browser.get(url)
self.browser.implicitly_wait(20)
time.sleep(5)
returnself.browser.page_source
defdownloader(self,url):
“”“
无需动态加载时，直接使用requests.get()获取页面
”“”
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
returnr.text
except:
return""
defparse(self,info,html,**kwargs):
"""
网页解析:BeautifulSoup+re
"""
soup=BeautifulSoup(html,"html.parser")
nodes=soup.find("ul",{"class":"clearfixcube-list"}).find_all("li")
aids=[node.get("data-aid")fornodeinnodes]
info.extend(aids)
defspider(self):
"""
初始url与调度
"""
info=[]
start_url="https://space.bilibili.com/384068749/video?tid=0&page="#投稿页的url
foriinrange(self.depth):
print("正在爬取第{0}页".format(i+1))
try:
url=start_url+str(i+1)
html=self.downloader1(url)
self.parse(info,html)
exceptExceptionase:
print(e)
returninfo
if__name__=="__main__":
client=RequestsSpider(pages=3,selenium=True)
urls=client.spider()
client.browser.close()
urls=["https://www.bilibili.com/video/av"+itemforiteminurls]
print(urls)
核心部分讲解
注意：
因为需要使用selenium进行动态加载，需要pip安装selenium(第三方库)本任务使用的是chrome驱动（还有Firfox、Edge等），需要自行下载与本机Chrome版本号相一致的驱动，版本一致！版本一致！版本一致！驱动下载传送门：Chrome驱动
RequestsSpider类：
实例化的时候，需要申明下载页数（pages），是否启用selenium进行动态加载（开启时爬虫效率一般远低于未开启状态）
def__init__(self,pages,**kwargs):
self.depth=pages#CodeSheep投稿页功79个视频，分成3页
ifkwargs.get('selenium'):
self.browser=self.selenium()
selenium基本配置：什么驱动存放位置、后台静默运行、全屏显示等
defselenium(self):
executable_path=r"输入chromedriver.exe的存放路径"
chrome_options=webdriver.ChromeOptions()
"""后台运行Chromedriver"""
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
browser=webdriver.Chrome(executable_path=executable_path,chrome_options=chrome_options)
"""全屏显示"""
browser.maximize_window()
time.sleep(5)
returnbrowser
使用selenium动态加载网页内容
defdownloader1(self,url):
“”“
需动态加载时,使用selenium加载完整页面再返回
”“”
self.browser.get(url)
self.browser.implicitly_wait(20)
time.sleep(5)
returnself.browser.page_source
使用request.get()快速加载网页
defdownloader(self,url):
“”“
无需动态加载时，直接使用requests.get()获取页面
”“”
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
returnr.text
except:
return""
网页解析：chrome浏览器，点击F12打开网页源代码，通过简单分析，可以发现，我们需要的内容位于li标签内data-aid的属性值：如图中的"95417273",其中li位于class为clearfixcube-list的ul标签下。将selenium加载的页面用BeautifulSoup熬成一锅"soup",按照上面的分析，找到class为"clearfixcube-list"的ul标签下的所有li标签；将每个li标签中的"data-aid"对应的值保存到aids中拓展info即可完成当前页面的解析。
defparse(self,info,html,**kwargs):
"""
网页解析:BeautifulSoup+re
"""
soup=BeautifulSoup(html,"html.parser")
nodes=soup.find("ul",{"class":"clearfixcube-list"}).find_all("li")
aids=[node.get("data-aid")fornodeinnodes]
info.extend(aids)
爬虫主逻辑：分析投稿页不同页面的url，总结url规律；循环调用download1动态加载，并调用parse解析网页内容，结果更新到info中
defspider(self):
"""
初始url与调度
"""
info=[]
start_url="https://space.bilibili.com/384068749/video?tid=0&page="#投稿页的url
foriinrange(self.depth):
print("正在爬取第{0}页".format(i+1))
try:
url=start_url+str(i+1)
html=self.downloader1(url)
self.parse(info,html)
exceptExceptionase:
print(e)
returninfo
效果
接下来，便可以使用前两节的方法进行视频下载了。
温馨提醒：下载过程固然能学到一些东西，静心感悟大佬想传达的意义才是核心，不要满足于当搬运工，共勉。
下期预告
【Python】整理matplotlib绘图库，用新的方式解读pyplot绘图过程
相关问题推荐
换行。比如，print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思，'\n'是换行，'\t'是tab，'\\'是，\ 是在编写程序中句子太长百，人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种：（1）非线性时间比较类排序：a. 交换类排序（快速排序、冒泡排序）b. 插入类排序（简单插入排序、希尔排序）c. 选择类排序（简单选择排序、堆排序）d. 归并排序（二路归并排序、多路归并排序）（2）线性时间非比较类排序：...
前景很好，中国正在产业升级，工业机器人和人工智能方面都会是强烈的热点，而且正好是在3~5年以后的时间。难度，肯定高，要求你有创新的思维能力，高数中的微积分、数列等等必须得非常好，软件编程(基础的应用最广泛的语言：C/C++)必须得很好，微电子(数字电...
迭代器与生成器的区别：（1）生成器：生成器本质上就是一个函数，它记住了上一次返回时在函数体中的位置。对生成器函数的第二次（或第n次）调用，跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态，生成器还记住了程序...
python中title( )属于python中字符串函数，返回’标题化‘的字符串，就是单词的开头为大写，其余为小写
第一种解释：代码中的cnt是count的简称，一种电脑计算机内部的数学函数的名字，在Excel办公软件中计算参数列表中的数字项的个数；在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时，将把数值型的数字计算进去；但是...
head是方法，所以需要取小括号，即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外，如果想通过位置取数据，请使用iloc，即dataset.iloc[:, :-1]和dataset.iloc[:, -1]，前者表示的是取所有行，但不包括最后一列的数据，结果是个DataFrame。...
挺简单的，其实课程内容没有我们想象的那么难、像我之前同学，完全零基础，培训了半年，直接出来就工作了，人家还在北京大公司上班，一个月15k，实力老厉害了
Python针对众多的类型，提供了众多的内建函数来处理(内建是相对于导入import来说的，后面学习到包package时，将会介绍)，这些内建函数功用在于其往往可对多种类型对象进行类似的操作，即多种类型对象的共有的操作；如果某种操作只对特殊的某一类对象可行，Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释：Python中的单行注释一般是以#开头的，#右边的文字都会被当做解释说明的内容，不会被当做执行的程序。为了保证代码的可读性，一般会在#后面加一两个空格然后在编写解释内容。示例：# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取，然后就是写出判断逻辑来勘测行是否为注视行，空行，编码行其他的：import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题，...
或许是里面有没被注释的代码
自学的话要看个人情况，可以先在B站找一下视频看一下