前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫神器:一条命令下载《复仇者联盟3:无限战争》

爬虫神器:一条命令下载《复仇者联盟3:无限战争》

作者头像
abs_zero
发布2018-07-25 09:48:49
7010
发布2018-07-25 09:48:49
举报
文章被收录于专栏:AI派

推荐阅读时间:8min~10min 主题:爬虫神器 you-get 介绍

听说你学会了爬虫,并且成功使用 urllib2/requests/scrapy 下载了想要的视频和音乐,但你有听过一条命令就能完成视频和音乐的下载呢?来看看今天带给你们的神器— you-get 吧!

1什么是 you-get

you-get 是一个小型的命令行程序,它提供便利的方式来下载网络上的媒体信息(视频,音频,图像)。you-get 目前支持的国内外网站有80+。国外的 YouTube、Twitter、Instagram 等等都是它支持的网站,国内支持的网站也有很多,如:bilibili、豆瓣、斗鱼、腾讯视频、优酷、芒果TV、快手、抖音、爱奇艺、酷狗音乐、秒拍、音乐Tai等等。最全的网站支持列表请见:https://github.com/soimort/you-get#supported-sites。

2安装 you-get

想要安装 you-get,有以下依赖必须安装:

  • Python3
  • FFmpeg(强烈推荐) or Libav
  • (可选) RTMPDump

接下来在命令行中输入:

代码语言:javascript
复制
pip install you-get

3使用 you-get 下载视频

我们来演示下如何通过 you-get 下载视频,假如我们想要下载《复仇者联盟3:无限战争》的一个预告视频,地址为:

http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A。

下载之前,我们可以使用 --info/-i 来查看所有可用画质与格式(注意:Windows 平台需要将 url 外面的单引号换成双引号):

代码语言:javascript
复制
$ you-get -i 'http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A'
site:                优酷 (Youku)
title:               《复仇者联盟3:无限战争》北美正式预告片 十年布局,巅峰一役
streams:             # Available quality and codecs
    [ DEFAULT ] _________________________________
    - format:        mp4hd3v2
      container:     mp4
      video-profile: 1080P
      size:          29.9 MiB (31303414 bytes)
      m3u8_url:      http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=hd3&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4
    # download-with: you-get --format=mp4hd3v2 [URL]

    - format:        mp4hd2v2
      container:     mp4
      video-profile: 超清
      size:          17.2 MiB (18035231 bytes)
      m3u8_url:      http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=hd2&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4
    # download-with: you-get --format=mp4hd2v2 [URL]

    - format:        mp4hd
      container:     mp4
      video-profile: 高清
      size:          10.3 MiB (10777046 bytes)
      m3u8_url:      http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=mp4&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4
    # download-with: you-get --format=mp4hd [URL]

    - format:        3gphd
      container:     mp4
      video-profile: 渣清
      size:          3.9 MiB (4101529 bytes)
      m3u8_url:      http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=mp4&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4
    # download-with: you-get --format=3gphd [URL]

    - format:        mp4sd
      container:     mp4
      video-profile: 标清
      size:          5.7 MiB (6020728 bytes)
      m3u8_url:      http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=flv&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4
    # download-with: you-get --format=mp4sd [URL]

标有DEFAULT 为默认画质。如果想要默认的画质,则直接使用以下命令下载:

代码语言:javascript
复制
$ you-get  'http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A'
site:                优酷 (Youku)
title:               《复仇者联盟3:无限战争》北美正式预告片 十年布局,巅峰一役
stream:
    - format:        mp4hd3v2
      container:     mp4
      video-profile: 1080P
      size:          29.9 MiB (31303414 bytes)
      m3u8_url:      http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=hd3&ups_client_netip=712c9e06&utid=r4p3E1fqEX4CAXEsngYfsVgy&ccode=0502&psid=269429bb15c9f3bc56d9ad545f0835ae&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718195&onOff=0&encr=0&ups_key=3b6bfec46adf4747c607ed4ab4b37cc3
    # download-with: you-get --format=mp4hd3v2 [URL]

Downloading 《复仇者联盟3:无限战争》北美正式预告片 十年布局,巅峰一役.mp4 ...
 100% ( 29.9/ 29.9MB) ├████████████████████████████████████████┤[1/1]    7 MB/s

如果想要下载标清画质,则可以根据提示 #download-with 使用以下命令来下载:

代码语言:javascript
复制
$ you-get --format=mp4sd 'http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A'
site:                优酷 (Youku)
title:               《复仇者联盟3:无限战争》北美正式预告片 十年布局,巅峰一役
stream:
    - format:        mp4sd
      container:     mp4
      video-profile: 标清
      size:          5.7 MiB (6020728 bytes)
      m3u8_url:      http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=flv&ups_client_netip=712c9e06&utid=x4t3Ez7Y%2FgUCAXEsnga8QOC7&ccode=0502&psid=a0f83cea8f1d12b44077eb789c32c7a0&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718475&onOff=0&encr=0&ups_key=fa6e8812bd282935a8f011e5316a3158
    # download-with: you-get --format=mp4sd [URL]

Downloading 《复仇者联盟3:无限战争》北美正式预告片 十年布局,巅峰一役.mp4 ...
 100% (  5.7/  5.7MB) ├████████████████████████████████████████┤[1/1]   11 MB/s

下载完成后,我们来看下下载后的视频截图:

4其他常用设置参数

除了最基本的下载功能之外,you-get 还有很多其他的参数。

  • 使用 --force/-f 强行重下载. (注意: 将覆盖同名文件或临时文件!)
  • 使用 --output-dir/-o 设定路径, --output-filename/-O 设定输出文件名
  • 使用 --http-proxy/-x 为you-get设置HTTP代理
  • 如果需要登录以观看 (例如, 私密视频), 可能必须将浏览器cookie通过 --cookies/-c 加载入 you-get

更多关于 you-get 的使用方式请看:https://github.com/soimort/you-get。

往期精彩回顾

BAT机器学习/深度学习面试300题

Numpy 精品系列教程汇总(你值得拥有)

谷歌机器学习43条黄金法则(手册版+PDF)

吴恩达|机器学习秘籍(Machine Learning Yearning)

作者:1or0,脑洞大开(www.naodongopen.com)签约作者,专注于机器学习研究。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-05-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI派 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档