用fidder抓包分析某音视频获取用户信息，python脚本和按键精灵脚本的运用

打字的小强 · 发表于 2018-9-8 18:59

本帖最后由 wushaominkk 于 2019-6-6 20:54 编辑

第一次发帖混脸熟，一前好几个号都没玩被清除了，最近在学习python爬虫，想采集爬取抖音用户信息，因为看到相关爬虫岗位有这个需求，突发奇想，分享一下经验，顺便整理自己的思路。首先是看到b站不二小段的爬虫视频，头脑王者的外挂，通过修改fidder函数把头脑王者的json数据包保存本地，用python脚本循环读取数据包，然后自动打开浏览器搜索题目。现在我就想把这个思路扩展一下到抖音这里来。
首先安装最新的fidder,抖音用户的数据包传输协议是https。需要下载fidder的证书，安装到手机或者安卓模拟器。我用的模拟器，然后设置安卓的模拟器的代{过}{滤}理IP设置为电脑的IP，现在模拟器所有的网络请求都被fidder获取了，现在我们就是要抓取数据包，分析数据包，推荐一个分析json包的网址，能把很复杂难懂的数据节展现的很清晰，在模拟器刷抖音的时候json数据包，我就一个个的把它复制出来看下，网址在图片中。

接下来就想办法保存这个数据包，重点就是修改fidder函数，fidder这个工具在做爬虫和外挂的时候经常使用，特地的学习了一下这个fidder的使用。修改fiiderscript，这个包含用户信息的json数据包的请求网址和host都是一样的，利用这个修改的函数，把它保存到本地某个文件夹。

fidder函数的保存到本地的数据只能覆盖，不能添加，所以只能用脚本循环读取了，所以用python写个脚本吧，把读出来的数据解析一下，保存到本地数据库。

现在就差最后一步写一个模拟人工划抖音的脚本了，既然用模拟器的话，想要多开几个，数据就会保存的更快那就用最小的分辨率写一个吧 320*480的分辨率，节约资源，抓取用户的信息要进入个人主页。思路是在抖音里面往上划，识别是不是广告或者直播，是广告再往下话，不是点头像，延时返回，然后循环。打包成apk安装到模拟器实机测试！速度还不错。还要继续优化脚本，设置清除缓存的功能才好，缓存太多了就会很卡。
按键.png

其实抓包的过程中有好多有意思的东西，比如抓到了无水印的视频链接，可以收集下来，哈哈。还有一些细节问题，没有写清楚，有问题不懂的可以留言我会仔细解答哈。大神勿喷

最后附件代码打包,密码为52pojie。同时上传到百度云了。

打字的小强 · 发表于 2018-9-26 08:43

Quincy379 发表于 2018-9-24 17:17
FindMultiColor 0,0,0,0,"542BFF","4|3|542BFF,3|5|542BFF,-3|2|542BFF,-2|32|ECEBEB,-134|190|552CFE,-156 ...

按键精灵多点找色，返回第一个点的坐标。
命令名称： FindMultiColor 多点找色
命令功能：根据指定的多点查找颜色坐标
语法格式： FindMultiColor x1,y1,x2,y2,first_color,offset_color,dir,sim,intX,intY
参数说明： x1:整数型,查找区域左上X坐标
y1:整数型,查找区域左上Y坐标
x2:整数型,查找区域右下X坐标
y2:整数型,查找区域右下Y坐标
first_color:要对比的16进制颜色,多个颜色用"|"号分隔,
如果需要对比偏色则中间用“-”号分隔,比如"FFFFFF|123456-000000|00FF00-101010"
sim:双精度浮点数,相似度,取值范围0-1
offset_color:字符串,偏移颜色
dir:整数型,查找方向.
0:表示从左上向右下查找;
1:表示从中心往四周查找;
2:表示从右下向左上查找;
3:表示从左下向右上查找;
4:表示从右上向左下查找;
intX:变参指针,返回找到的X坐标
intY:变参指针,返回找到的Y坐标
color:字符串,16进制颜色值,格式为"BBGGRR"

打字的小强 · 发表于 2018-9-10 09:27

kk1212 发表于 2018-9-10 00:13
python爬虫应该好好的学学，python的优势真的是越来越明显了，特别是抓数据，然后分析，所以python爬虫现在 ...

的确有意思呢，抖音抓出来的用户信息，只要量够多，这些都是有用的，筛选出一些粉丝量达到多少的用户信息大有用处。爬虫其实跟做外挂差不多，道高一尺魔高一丈，哈哈。

kk1212 · 发表于 2018-9-10 00:12

技术好文章

kk1212 · 发表于 2018-9-10 00:13

python爬虫应该好好的学学，python的优势真的是越来越明显了，特别是抓数据，然后分析，所以python爬虫现在已经是非常的重要的得力的助手工具

Quincy379 · 发表于 2018-9-10 08:21

好东西，谢谢大佬！

jacer16 · 发表于 2018-9-10 09:47

真是厉害了!!!!!!!!!!!!!!!!!!!!!

佣兵 · 发表于 2018-9-11 01:10

看不懂，不过还是回帖一下以示敬仰~

打字的小强 · 发表于 2018-9-11 11:00

佣兵发表于 2018-9-11 01:10
看不懂，不过还是回帖一下以示敬仰~

哪里看不懂？很简单呀，没有什么逻辑的东西。

lyly125 · 发表于 2018-9-11 11:45

谢谢大佬分享，先收藏了呢，辛苦了

浅苏流年 · 发表于 2018-9-11 22:27

正要做一款公司APP的外挂，人工刷APP太累了

帐号		自动登录	找回密码
密码			注册[Register]

[其他原创] 用fidder抓包分析某音视频获取用户信息，python脚本和按键精灵脚本的运用

免费评分

免费评分