另类操作抓取tiktok弹幕?

小明无敌 · 发表于 2024-6-6 19:37

本帖最后由小明无敌于 2024-6-11 15:13 编辑

通过分析tk的弹幕pb可以得知微信截图_20240606193241.png

跟抖音的80%的相似度吧
本来在想跟之前的帖子https://www.52pojie.cn/thread-1928866-1-1.html 一样生成ws链接.然后主动链接获取消息.然后进行gzip解压缩然后解包
还要处理心跳包.感觉很麻烦.正好看到了https://github.com/qtgolang/SunnyNet这个工具.可以代{过}{滤}理实现抓包分析数据包之类的操作.
那么我们代{过}{滤}理本地的18080端口.然后浏览器正常打开tk直播间.去拦截他的ws请求然后进行分析解包就可以了

开源地址https://github.com/jwwsjlm/TikTok_Live
写的匆忙.没有实现太多的消息体解析.基本的pb的都差不多通过gpt生成好对应的pb文件了.但是工作量实在是庞大.就先搓了个解析弹幕文本的.后期就跟抖音的一样去慢慢补充添加即可.
这样的话浏览器去实现心跳包断线重连等操作.包括登陆.指纹什么的直接浏览器去伪装就好了.软件只需要去操心如何解析ws数据即可
源码打包

Sunny.zip (206.7 KB, 下载次数: 7)
后续更新的话在github更新了
https://wwb.lanzn.com/ir2EH21k33hc

[color=var(--fgColor-accent, var(--color-accent-fg))]编译请使用 TDM-GCC
https://github.com/jmeubank/tdm-gcc/releases/download/v10.3.0-tdm64-2/tdm64-gcc-10.3.0-2.exe

goblack · 发表于 2024-6-7 12:32

小明无敌发表于 2024-6-6 22:23
如果说proxy方案能被禁止的话 .那市面上也没有抓包方案了.

那到不至于，允许普通浏览器能访问的页面就没有抓不了的。
可以检测只允许正常SSL，但是只要有足够大的利益，前端保护不了什么，检测代码照样会被扒出来。

就像某些可笑的防盗H5单页，检测运行环境是吧，防止保存是吧，人的创造力巨大是吧，但是在机器学习的暴力解释面前都是徒劳的，分分钟就净化成可以随意部署、修改的代码了。没有AI之前，人与人的对抗确实费点劲。

没有AI之前，大厂的代码加固反而更容易找到免费或者付费的解决方案（毕竟利益足够大，基本都有，没有的也不是没有经验的个人能涉及的），反倒是对于个人DIY的混淆方式比较费劲。现在AI的辅助，哪怕是自己本地GPU驱动的，也是几句话，等上几分钟，就扒个一干二净

goblack · 发表于 2024-6-6 22:11

还有补充一点。利用一些行为特征检测绝大多数情况下都是准确的，但是毕竟用户那么多，许许多多的情况也会因为代码不严谨误判。

举个例子：长亭雷池有个100%复现的BUG。提示浏览器访客“请关闭DEVTOOL”。
复现操作：访问站点加载的时候，标签页不在前台。没有仔细分析，猜测是判断浏览器窗口大小的变化。

举个反面例子：cloudflare的浏览器5秒盾，就有相当多的行之有效的py库可以直接击穿。不少L7能针对打穿CF CDN打爆源站，仅仅是代价比无盾的CPU执行开销稍高罢了。

magiclyan · 发表于 2024-6-6 20:11

请不要使用难以阅读的字体/颜色

物理学四大神兽 · 发表于 2024-6-6 20:19

感谢分享学习一下

anwen · 发表于 2024-6-6 20:50

本帖最后由 anwen 于 2024-6-6 20:54 编辑

大佬用啥客户端连接的 ws，就例如抖音这个示例，以及抓取到的弹幕可以保存到本地吗~

goblack · 发表于 2024-6-6 21:20

用浏览器加载解释，然后用捕获信息。

懒得折腾的时候就用浏览器解决，很常见。。那些玩爬虫的，不少就是起无头浏览器，虽然吃配置一些，但是确实开发速度就比较快了。

小明无敌 · 发表于 2024-6-6 21:50

anwen 发表于 2024-6-6 20:50

大佬用啥客户端连接的 ws，就例如抖音这个示例，以及抓取到的弹幕可以保存到本地吗~

![]()

这个就是apifox工具至于保存到本地你自己需要写一个客户端来承接呀

小明无敌 · 发表于 2024-6-6 21:53

goblack 发表于 2024-6-6 21:20
用浏览器加载解释，然后用捕获信息。

懒得折腾的时候就用浏览器解决，很常见。。那些玩爬虫的，不少就是 ...

不过你说的那种核心是属于让浏览器加载自己的js 然后rpc远程调用.这种的话是写一个代{过}{滤}理软件进行ws数据流捕获.rpc的话更方便点但是会有检测的风险

goblack · 发表于 2024-6-6 21:59

小明无敌发表于 2024-6-6 21:53
不过你说的那种核心是属于让浏览器加载自己的js 然后rpc远程调用.这种的话是写一个代{过}{滤}理软件进 ...

风险是一样的。。。proxy方案需要中间人证书，技术层面可以检测。。除了远程调用，还可以虚拟机虚拟安卓远程调试之类的各种方案，但是如果网站运营方希望避免，仍然有各种合法、非法的手段检测。

比如不同平台的浏览器API差异，特性差异，甚至是浏览器0day漏洞、提权之类的。这种行为不要觉得没有，拼歹歹、D音被实锤的还少么？这种行为从后果来说不是破坏计算机系统而且情节及后果均特别严重？只能是大厂干。

小明无敌 · 发表于 2024-6-6 22:23

goblack 发表于 2024-6-6 22:11
还有补充一点。利用一些行为特征检测绝大多数情况下都是准确的，但是毕竟用户那么多，许许多多的情况也会因 ...

如果说proxy方案能被禁止的话 .那市面上也没有抓包方案了.

帐号		自动登录	找回密码
密码			注册[Register]

[其他原创] 另类操作抓取tiktok弹幕?

免费评分