本文讲述爬取抖音APP视频数据(本攵未完后面还有很多地方优化总结)
fiddler配置和使用查看>>王者荣耀盒子APP抓包配置方法
进入我关注的抖音用户主页,找到用户的抖音号并记录丅来,该抖音号为unique_id(unique_id区别于uid)
用户主页有如下数据:如图所示
注:该页面并没有返回我们需要的uid数据需要通过如下方式搜索,在另外一个頁面抓包才能获取
输入用户主页获取到的unique_id值并点击搜索
进入该页面,切换到用户栏该页面会返回我们需要的数据和接口
fiddler抓包,该接口返回我们需要的两个参数作品数aweme_count和用户uid
上代码,input输入的为用户主页的unique_id传入下面的方法中
拿到unique_id,我们请求接口提取我们需要的数据aweme_count和uid,並打印成功,这一步结束
3、接下来寻找视频播放页面接口
手机切换到用户主页会出现我们需要抓包的接口,因为用户主页有视频自然接口在这里面
抓包,成功抓到下面图中所示的share_url接口该接口需要我们传2个参数,就是上一步我们获取到的aweme_count和uid
注:share_url并不是最终我们真正下载視频的接口需要对share_url返回的数据进一步提取,才能找到真正的视频接口
上代码但该接口测试一些发现有些不方便用,经查阅网上一些资料发现需要用到抖音之前的老接口,如代码中所示
这里获取得到的video_urls是一个假的视频接口需要进一步提取真的视频接口
将video_urls传进下载视频嘚方法中,中间我调用了get_download_url方法进一步提取真正的视频接口
提取真正视频接口,通过get请求假接口在返回的一大坨响应中通过正则匹配提取
这里简单截图了两个视频接口的区别,这幅图是假的视频接口虽然也有视频,但并不是真正的
下面这个才是我们真正的视频接口整個页面只有一个视频,直接下载视频数据
至此抖音爬取告一段落,还遗留两个问题尚未完全搞出来
1、如何获取所有用户的抖音unique_id,而不必手动每次去查看后输入
这两个问题也已经尝试没有那么容易,有兴趣的同学欢迎测试有思路欢迎探讨
欢迎添加好友学习探讨,备注(CSDN)