玄幻之我有一款单机游戏卡夜阁刚开始玩时就要将自己的房子装修抖音上有求推荐

爬虫的案例我们已讲得太多不過几乎都是网页爬虫。即使有些手机才能访问的网站我们也可以通过 Chrome 开发者工具手机模拟功能来访问,以便于分析请求并抓取

但有些 App 根本就没有提供网页端,比如今年火得不行的抖音(网上有些教程也是用网页手机模拟的方法,但此法现已失效)

对于这种情况,峩们能不能抓取要怎么抓取?今天就来分享一下

本文的重点就在于如何获取手机 App 发出的请求

手机 App 不像电脑上的网页能直接通过浏览器查看相关信息在手机设备上也不方便使用工具一边流量一边调试。所以常用的方式就是通过在电脑上装一些“抓包”软件将手机上嘚网络请求全部显示出来。

那为什么电脑能看到手机上的网络请求这里就要提下“代理”这个概念。我们之前的文章中也讲过代理形潒的解释就是字面的理解:所有你发出的请求不再是直接发到目的地,而是先发给这个代理再由代理帮你发出。所以通过代理可以实現隐藏 IP、进入专用网络、翻…咳咳那啥等功能,也包括我们今天说的:手机抓包

顺带说句,在公共场所别随便连不确定的免费 wifi理论上來说,人家也可以抓你的包

这里,我们要用的工具是 Fiddler它是一个较成熟的免费抓包工具。可以抓取网页、桌面软件、手机 App 的网络请求並可以运行在 Windows、Mac、Linux 平台上,支持 iOS 和 Android(虽说都支持,但强烈建议 Windows + Android后面我会有吐槽)

上周我们的送书活动收到不少同学的项目和代码,其Φ @离岛 同学提交了一个 Fiddler 手机抓包的教程

这是一个需要经验积累的活儿,不同的网站/App规则都不一样,但套路是相似的对网页爬虫还不熟悉的话,搜索文章 

得到地址之后,经过在浏览器和代码里的一番尝试找到了此请求的正确解锁方式:

参考资料

 

随机推荐