Python爬取腾讯视频

python开发已经在实际中越来越常用,大数据,人工智能,数据分析,基本都要用到python。今天分享是LEONYao同学关于爬腾讯视频的案例。

其实事情是这样的,上个礼拜我去面试一家公司,工作是做爬虫。然后有了以下对话。 面试官:你是自学的,我有一些问题问你,python的浅拷贝和深拷贝是什么? 我:呵呵 面试官:额。。。你能不能说一说你是怎么理解python的面向对象编程? 我:呵呵 面试官:额。。。。好吧,我不问你基础了。你有没有爬过动态的网页? 我:有啊,我爬过豆瓣啊。 面试官:那我让你爬视频网站你怎么爬?F12里查看器是看不到视频地址的! 我:看不到么? 面试官:嗯! 我:不知道。。。。。 面试官:额。。。。你这样让我很为难的,要不你去试试爬腾讯视频。 我:好啊好啊! 面试官:你不要想用那些模拟浏览器来渲染JS哦!直接抓包!

结果我回到家一看!!什么鬼!!!!

怎么用代码爬啊??

经过三天的学习,我首先弄清楚了对于这种动态网站的爬取方法。 首先,用network找到一个专门接收请求的真实地址,或者后门网址。

就是这个,只要在网址里加入参数,它就会返回数据。拉下去,我们可以看道参数,这里的参数有很多并不是必须的。我先在这里提前说一下,最后我们是要根据观察来找出规律重构出这个网址,因为我们做爬虫的不可能上网站开F12来找信息的。我们看下网址打开后有什么

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<root>
<exem>0</exem>
<hs>0</hs>
<ls>0</ls>
<tm>1479138997</tm>
<dltype>1</dltype>
<preview>135</preview>
<sfl>
<cnt>0</cnt>
</sfl>
<fl>
<cnt>3</cnt>
<fi>
<sl>0</sl>
<br>64</br>
<id>10703</id>
<name>sd</name>
<lmt>0</lmt>
<sb>1</sb>
<cname>标清;(270P)</cname>
<fs>4795182</fs>
</fi>
<fi>
<fs>8435750</fs>
<sl>1</sl>
<br>235</br>
<id>10712</id>
<name>hd</name>
<lmt>0</lmt>
<sb>1</sb>
<cname>高清;(480P)</cname>
</fi>
<fi>
<lmt>0</lmt>
<sb>1</sb>
<cname>超清;(720P)</cname>
<fs>17133689</fs>
<sl>0</sl>
<br>650</br>
<id>10701</id>
<name>shd</name>
</fi>
</fl>
<s>o</s>
<vl>
<vi>
<br>60</br>
<fst>5</fst>
<vh>480</vh>
<dm>0</dm>
<targetid>1619695007</targetid>
<fclip>1</fclip>
<ul>
<ui>
<vt>200</vt>
<dt>2</dt>
<dtc>10</dtc>
<url>http://222.84.158.26/vhot2.qqvideo.tc.qq.com/</url>
</ui>
<ui>
<dtc>10</dtc>
<url>http://222.84.158.27/vhot2.qqvideo.tc.qq.com/</url>
<vt>200</vt>
<dt>2</dt>
</ui>
<ui>
<url>http://222.84.158.28/vhot2.qqvideo.tc.qq.com/</url>
<vt>200</vt>
<dt>2</dt>
<dtc>10</dtc>
</ui>
<ui>
<vt>0</vt>
<dt>2</dt>
<dtc>10</dtc>
<url>http://video.dispatch.tc.qq.com/96405217/</url>
</ui>
</ul>
<st>2</st>
<videotype>23</videotype>
<hevc>0</hevc>
<dsb>0</dsb>
<ch>0</ch>
<drm>0</drm>
<enc>0</enc>
<vid>q0345aui4cn</vid>
<lnk>q0345aui4cn</lnk>
<fn>q0345aui4cn.p712.mp4</fn>
<fs>8435750</fs>
<fvkey>
79487AB1BD24866699D881C26FC8E62D2131609CE05CC1F18B76EC6481957C2416C28CAE6B21FEE56DCB157706205BC52F3928F51CC08EE79AF4E3157C4940870340CFB9B9407A55FF02A8EA1B560B00A3ADC310709553ED9AC0E8E67705AE5D4097A5370B4BF1AB75B444A3A2EB7F51
</fvkey>
<level>0</level>
<td>135.722</td>
<fmd5>9cac5ea26dbf008bce792704b6d67c97</fmd5>
<ct>21600</ct>
<sp>0</sp>
<cl>
<fc>1</fc>
<ci>
<idx>1</idx>
<cs>8435748</cs>
<cd>135.722</cd>
<cmd5>40a954202d9f663ac2443372afde8d4b</cmd5>
<keyid>q0345aui4cn.10712.1</keyid>
</ci>
</cl>
<share>1</share>
<type>9</type>
<vst>2</vst>
<iflag>0</iflag>
<ti>健忘症老人同一问题连问17次!这名耐心的医生火了</ti>
<vw>848</vw>
<logo>1</logo>
<pl>
<cnt>2</cnt>
<pd>
<url>http://video.qpic.cn/video_caps/0/</url>
<cd>2</cd>
<c>10</c>
<h>45</h>
<w>80</w>
<r>10</r>
<fn>q1</fn>
<fmt>40001</fmt>
</pd>
<pd>
<fmt>40002</fmt>
<url>http://video.qpic.cn/video_caps/0/</url>
<cd>2</cd>
<c>5</c>
<h>90</h>
<w>160</w>
<r>5</r>
<fn>q2</fn>
</pd>
</pl>
</vi>
<cnt>1</cnt>
</vl>
</root>

先不管,我们再打开另一个叫做getkey的网址看看里面的东西

<root>
<ct>21600</ct>
<keyid>q0345aui4cn.10712.1</keyid>
<key>
50C099826174CDA1036AC3F8BB82BEC4A6E91005384153F81E3EF477C719CBF0B442C8D533F36402878D2B7C639318CD3078DEFC435C8C865813DBEB689F66D789F410D5115A745C3019F6ABAEBFF53258F4F524A9FE978D26595B6B1732F25992A33CB6F3F2C792FA22CAC171C7087C
</key>
62154.61</br>
<sp>0</sp>
<sr>0</sr>
<level>0</level>
<s>o</s>
<filename>q0345aui4cn.p712.mp4</filename>
<levelvalid>1</levelvalid>
</root>

这么多,我们怎么知道爬虫需要哪些东西呢? network里是可以直接找到video的,我们看一下视频的真实地址 http://183.60.171.154/vhot2.qqvideo.tc.qq.com/q0345aui4cn.p712.1.mp4?sdtfrom=v1090&type=mp4& vkey=E1B062FA0354A56228FFE25100D1B41F83FEBC012471446999AA386A8FC8A8273AE07BFF6092B4F4AABCE8D98E7F622D71AF44C88B5D3F63A6ED4BFE45457ED0D95E67CA930861F396967521A97ED4154449A61DD95F24A7945262EEB481C3BAC8FE53A2B186F1FC111CE8D32FFBB8C1 &level=0&platform=11&br=60&fmt=hd&sp=0&guid=ED20EE2DB93337F04708204D247CB34A&locid=f9aa455a-6a68-4fd9-a4dd-0dcf179bd6b3&size=8435748&ocid=2535331244 很长很复杂对吧!让我们来精简一下,看能把哪些参数删掉。我下面就直接放出我爬虫爬到的精简版的地址吧 http://222.84.158.29/vhot2.qqvideo.tc.qq.com/q0345aui4cn.p701.1.mp4?vkey=46994EBB71F530AC11AB11EFA265508534036712DA0187B3939F9FDE9062FBA7B5C37F0C80D72626AEEB3CD87A15B19CB064817D98C4DD0D43D113804FE8F50F67DE15DD2FC48CC06FA9AE67678FD2CE9363358A1AC9BBCDB831B1AF79E7B105 首先我们看到 两个地址的IP,VKEY是不一样的。IP这个好解释,视频源不一样,地址不一样。然后Vkey它是一直在变化的,每次打开getkey这个页面都在变。我分析下一个视频地址精简后需要哪些东西 Ip=http://222.84.158.29/vhot2.qqvideo.tc.qq.com/(getinfo页面中有) filenname=VID +P701.1.MP4(P701其实由getinfo中的ID的1701去掉10,改为P获得。而.1.MP4是属于后缀.2.mp4应该也能播放,只要有这个视频源) vkey=46994EBB71F530AC11AB11EFA265508534036712DA0187B3939F9FDE9062FBA7B5C37F0C80D72626AEEB3CD87A15B19CB064817D98C4DD0D43D113804FE8F50F67DE15DD2FC48CC06FA9AE67678FD2CE9363358A1AC9BBCDB831B1AF79E7B105(这个在getkey页面中获得

好了所以我们来重新整理下思路吧! 1、我要在一开始的视频页面获得vid(这个我不想解释自己开F12查看器) 2、然后在getinfo页面获得ID,拼接filename 3、在getkey页面获得Vkey 4、最后拼接成我们的视频url 这里我放出我精简过了的getinfo和getkey网址,只要更换vid,filename就额可以打开了

`getinfo='http://vv.video.qq.com/getinfo?vids={vid}&otype=xlm&defaultfmt=fhd'`
`getkey='http://vv.video.qq.com/getkey?format={id}&otype=xml&vt=150&vid={vid}&ran=0%2E9477521511726081\\\\&charge=0&filename={filename}&platform=11'`

这里我得强调,getkey的参数是由getinfo中获得的! 分析得差不多了,我们开始写爬虫把!!

from urllib.request import Request, urlopen
from urllib.error import URLError,HTTPError
from bs4 import BeautifulSoup
import re
print('https://v.qq.com/x/page/h03425k44l2.html\\n \\
https://v.qq.com/x/cover/dn7fdvf2q62wfka/m0345brcwdk.html\\n \\
http://v.qq.com/cover/2/2iqrhqekbtgwp1s.html?vid=c01350046ds')
web = input('请输入网址:')
if re.search(r'vid=',web) :
patten =re.compile(r'vid=(.*)')
vid=patten.findall(web)
vid=vid[0]
else:
newurl = (web.split("/")[-1])
vid =newurl.replace('.html', ' ')

从视频页面找出vid

getinfo='http://vv.video.qq.com/getinfo?vids={vid}&otype=xlm&defaultfmt=fhd'.format(vid=vid.strip())
def getpage(url):
req = Request(url)
user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit'
req.add_header('User-Agent', user_agent)
try:
response = urlopen(url)
except HTTPError as e:
print('The server couldn\\'t fulfill the request.')
print('Error code:', e.code)
except URLError as e:
print('We failed to reach a server.')
print('Reason:', e.reason)
html = response.read().decode('utf-8')
return(html)

打开网页的函数

a = getpage(getinfo)
soup = BeautifulSoup(a, "html.parser")
for e1 in soup.find_all('url'):
ippattent = re.compile(r"((?:(2[0-4]\\d)|(25[0-5])|([01]?\\d\\d?))\\.){3}(?:(2[0-4]\\d)|(255[0-5])|([01]?\\d\\d?))")
if re.search(ippattent,e1.get_text()):
ip=(e1.get_text())
for e2 in soup.find_all('id'):
idpattent = re.compile(r"\\d{5}")
if re.search(idpattent,e2.get_text()):
id=(e2.get_text())
filename=vid.strip()+'.p'+id[2:]+'.1.mp4'

找到ID和拼接FILENAME

getkey='http://vv.video.qq.com/getkey?format={id}&otype=xml&vt=150&vid={vid}&ran=0%2E9477521511726081\\
&charge=0&filename={filename}&platform=11'.format(id=id,vid=vid.strip(),filename=filename)

利用getinfo中的信息拼接getkey网址

b = getpage(getkey)
key=(re.findall(r'<key>(.*)<\\/key>',b))
videourl=ip+filename+'?'+'vkey='+key[0]

对python感兴趣的,可以学习下极客时间的python课

原创作者:LEONYao

原文链接: https://www.jianshu.com/p/58647f29f409

原文发布于微信公众号 - 何俊林(DriodDeveloper)

原文发表时间:2018-06-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java学习网

Web开发在过去20多年时间里如何改变了我

web在过去20年时间里改变得相当快。越来越多的逻辑从服务器端移动到了客户端。不但需要在客户端编写更复杂的JavaScript代码,而且最近几年还发生了一些奇特...

3186
来自专栏数说工作室

家养爬虫的Python技术 | 资料总结

之前有一个讨论: 文本分析怎么整? 文本分析,一个很重要的环节就是网络的数据爬取。爬虫是获取数据的一个重要手段,很多时候我们没有精力也没有资金去采集专业的数...

35011
来自专栏喵了个咪的博客空间

PhalGo-介绍

PhalGo-介绍 phalgo是一个Go语言的一体化开发框架,主要用于API开发应为使用ECHO框架作为http服务web程序一样可以使用,牛顿曾经说过"如果...

2926
来自专栏Python绿色通道

用Python获取公众号评论并生成词云图证明抖音无罪

近期为Python社会贡献了一份力量 Python社区越来越强大了,Python氛围越来越好了!希望每个人都能贡献自己的力量

642
来自专栏晨星先生的自留地

MS17010之批量的一些思路

2935
来自专栏开源项目

程序员如何写出杀手级的求职简历?| 码云周刊第 53 期

摄影师不用说话,只要拿出照片;设计师不用说话,只要 show 出作品;作为一个写了几万行代码的 coder ,那些程式化的简历/个性主页怎么够用啊?程序员的求职...

2775
来自专栏有趣的Python

最新Django2.0.1在线教育零基础到上线教程(四)5-完结

演示地址: http://mxonline.mtianyan.cn 教程仓库地址1: https://github.com/mtianyan/DjangoGe...

42110
来自专栏菜鸟致敬

【Lua菜鸟①】初识Lua

简介 Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。 特性 轻...

3649
来自专栏Java帮帮-微信公众号-技术文章全总结

第一天 Java基础入门【悟空教程】

2097
来自专栏有趣的Python和你

Python爬虫+颜值打分,5000+图片找到你的Mrs. Right

本项目利用Python爬虫和百度人脸识别API,针对简书交友专栏,爬取用户照片(侵删),并进行打分。 本项目包括以下内容:

713

扫码关注云+社区