「docker实战篇」python的docker- 抖音视频抓取（上）（24）

IT架构圈

发布于 2019-04-26 17:56:08

1.7K0

发布于 2019-04-26 17:56:08

上节主要说了通过多模拟器的并行进行数据的抓取，在没有docker环境的情况下，本次主要针对抖音的视频数据进行抓取，无论你是个人喜好，还是项目需求，大家对抖音的视频数据都很感兴趣，比如喜欢那个漂亮的小姐姐都想把他的视频保存下来，方便日后的观看，慢慢的膝上。上次说的appium完成抖音粉丝数据的抓取其实也可以完成抖音视频数据的抓取，抓取的思路也是想通，通过mitmdump进行数据解析，appium模拟滑动。如果一台设备抓取比较慢，可以用多台模拟器来进行抓取。这次主要用的另一种方式来进行抓取。

（一）分析分享页面

谷歌浏览器打开：https://www.douyin.com/share/user/89923219116

1.1刷新页面

按照图例步骤查看返回的数据 url地址：https://www.douyin.com/aweme/v1/aweme/post/?user_id=89923219116&count=21&max_cursor=0&aid=1128&_signature=HTvXTBAUQVTTUFGelHo.NB0711&dytk=2be712bf2e309b4b7947b459667ea3a1

1.2 json.cn中查看返回的数据格式

1.2.1返回了10条

1.2.2发现解析发现

1.2.3 打开https://aweme.snssdk.com/aweme/v1/playwm/?video_id=v0200f0e0000bhlo7ff2gdds3j6apkfg&line=0

1.2.4 也就是通过 https://www.douyin.com/aweme/v1/aweme/post/?
1.2.4 也就是通过 https://www.douyin.com/aweme/v1/aweme/post/?user_id=89923219116&count=21&max_cursor=0&aid=1128&_signature=HTvXTBAUQVTTUFGelHo.NB0711&dytk=2be712bf2e309b4b7947b459667ea3a1 可以获取视频的地址
1.2.5 解析里面的参数

https://www.douyin.com/aweme/v1/aweme/post/?
user_id=89923219116&
count=21&
max_cursor=0&
aid=1128&
_signature=4vFoMhAYvqksmu7gHnkAsuLxaC&
dytk=2be712bf2e309b4b7947b459667ea3a1

1.2.6里面一共6个参数

user_id
count
max_cursor
aid
_signature
dytk

1.2.7 下一步就是找到这6个参数的缘由从哪里获取到的。肯定有老铁问，既然地址就知道了，直接用地址获取不完了，那么麻烦干啥？我来截图解密，因为url地址是有时效性的

1.2.7.1 user_id 是url中的最后一个字段，可以直接获取

1.2.7.2 count 直接写死 21

1.2.7.3 max_cursor 直接写死 0，获取写时间戳

1.2.7.4 aid 直接写死 1128

1.2.7.5 dytk 直接可以通过页面获取，通过正则表达式

1.2.7.6 _signature 比较麻烦，这里一起分析下
1.2.7.6.1 查询_signature的信息，搜索：_signature

1.2.7.6.2 点击搜索出来的2个文件中的第一个，然后按照我说的步骤点击

1.2.7.6.3 输入ctrl+f 输入_signature 查询，发现_signature = signature 通过signature赋值过来的。

1.2.7.6.4 signature 查找出来3个地方
初始化

赋值signature

1.signature = _bytedAcrawler.sign(nonce), 2.nonce 其实就是user_id，user_id在页面已经获取到了 3.需要了解下_bytedAcrawler.sign
1.2.7.6.5 _bytedAcrawler 怎么来的，在通过ctrl+f _bytedAcrawler = require("douyin_falcon:node_modules/byted-acrawler/dist/runtime")