申请会员ID：Starry-OvO【申请通过】

1、申 请 I D ：Starry-OvO
2、个人邮箱：starry_cn@qq.com

3、原创技术文章：
标题：python+aiohttp还原某度某吧私信的websocket+protobuf+RSA/AES加密流程
本人是一名学生，因为某吧吧务管理有自动发送私信的需求，我就利用课余时间逆向研究了某吧app的私信功能。刚准备研究的时候，我在github和吾爱破解都搜了一下，没找到相关内容，这篇文章算是补个漏吧，希望能通过这篇文章顺便注册一下会员

先上开源代码https://github.com/Starry-OvO/Tieba-Manager还望各位能赏个star
jadx反编译应该算是老生常谈了，而且说实话我没写过java也不太了解java，只能靠C++的开发经验来推测代码的用途，我这篇文章的参考价值可能更多地在python实现上


如下图，用网页端打开某吧私信页的时候可以明显看到一个status_code=101的websocket建立请求，并且发送和接收私信都是在这个websocket上实现，我就大胆猜测app的私信功能也是基于websocket实现的

打开模拟器和wireshark开始抓包。然后打开私信界面

wireshark抓到了websocket建立请求，直接追踪TCP流

如下图，可以发现该请求的Host和网页端的一致，都是im.tieba.baidu.com:8000

观察一下client发给server的第一个websocket包，如下图所示。可以看到很多明文的字符串，但也夹杂着一些不能ascii解码的内容，出于直觉我猜测这是protobuf的编码效果

再看后续双方通信的websocket包，完全不包含明文，我推测这是某种加密的效果


jadx反编译某吧极速版app

搜索字符串im.tieba.baidu.com并跳转到该位置

搜索一下调用位置，如下图红框所示
蓝框标出的是伏笔，和后续的RSA加密有关

跟着这个链接可以找到Socket的初始化函数

注意到上图红框里的MessageManager，因为它有个类成员函数sendMessage（如下图），再综合其他一系列特征，比如创建并行化任务队列的相关函数，我判断出这应该是负责收发包的类

分析一下上图红框里的函数e

通过上述分析，再结合类成员变量的内容（如mData、mCmd等），我判断出Message应该是一个保存请求参数的类，而MessageTask保存了任务类别相关的信息
而mCmd是初始化Message的一个重要变量，需要特别注意它的用途，如下图所示

根据下图分析，我推测Message的类成员变量mData保存了请求相关的数据

下面跟踪一下setData的调用场合

找到了一个纯虚成员函数encode

因为这个函数的具体实现在子类中，我们只能回到initSocket来找找其他线索
会动态调试的也可以考虑在这个函数附近下断点

上图所示的ResponseOnlineMessage是被注册到MessageManager的第一个MessageTask对应的Message子类，我判断它应该是被用于接收client发给server的第一个websocket包的返回数据
如下图所示，点开这个Message我们找到了protobuf流程的特征

如下图所示，通过UpdateClientInfoResIdl提供的线索，我们可以进一步找到同一级文件夹下UpdateClientInfoReqIdl的protobuf字段定义
根据名称和字段定义我判断Req是请求proto，而Res是响应proto

其中UpdateClientInfoReqIdl.DataReq的proto定义如下图所示

下一步就是查找protobuf字段被装填的位置，这可以通过查找Builder的调用位置来实现，如下图所示

我们找到了UpdateClientInfoMessage的成员函数encode，它正是对上文提到的Message类的纯虚成员函数encode的具体实现
如下图所示，看来这个encode系列函数所实现的功能就是装填protobuf字段

同时找到encode函数的上级调用位置getData，再找getData函数的上级调用，如下图所示

找到了函数encodeInBackground，以及熟悉的老朋友mData
该函数通过java反射来调用protobuf-Builder的toByteArray方法，将proto容器转换为bytes


再找函数encodeInBackground的上层调用，找到函数a

这个a函数非常重要，简单分析如下

往下分析函数e，发现一个函数g.f

点进去发现这是一个gzip压缩的方法

接着分析a函数里的u.a函数，发现这是一个简单的AES加密方法

既然是AES加密我们就得找密钥
如下图所示，类成员变量Yn就是AES密钥，该密钥通过函数g里的函数调用u.be(eo)生成


为了搞清楚生成的时机，还得看看函数g在何处被调用，如下图所示

发现函数g只在Socket初始化的时候被调用了一次
因为函数g的入参和AES加密无关，这个getPublicKey我们后面再看


下面分析一下生成AES密钥的函数u.be的入参eo

点进函数eo发现这是个返回随机36bytes的函数
而且他这个子串分割写得好像有点问题，子串长度与int i无关，而是一个固定值36


然后就用sha1生成一个AES密钥，salt是bytes数组ahI


现在我们就完全知道函数a中的函数e和函数u.a的用途了，如下图所示

然后是对a.a函数的分析，如下图

为了验证上述猜测，我们保存一下websocket的首个请求

看头部的9字节，第1个字节0x08意味着数据未经过AES加密和gzip压缩，后4个字节转换到十进制就是熟悉的cmd=1001

用hexediter删去头部9字节后，protoc解析剩余内容，发现确实是protobuf

熟悉某吧爬虫的能看出来这些protobuf字段都比较常规，除了一个secretKey
先看secretKey字段的赋值位置

然后搜索类属性secretKey被赋值的位置

然后看setSecretKey被调用的位置

再研究函数oJ，发现它其实就是个取出类属性Yo的方法

Yo又是在函数g中通过函数u.b生成
进入u.b可以知道这就是一个利用publicKey对输入bytes数组做RSA加密的函数
而输入的bytes数组其实就是从36字节长的随机字符串eo逐字节转换而来
这个eo也被用于AES密钥的生成，之前的分析也提到过

回到上一层函数我们发现publicKey是通过函数u.q(bArr)生成
点进函数q我们发现这其实就是一个利用bArr生成公钥的方法


这个bArr通过不断地回溯调用层级可以发现是来源于这个位置，即getRSAPublicKey函数

点进这个函数，成功回收伏笔，把这串硬编码的东西base64decode就能得到RSA公钥了

现在回头分析这个发送私信时产生的websocket包，第1字节0x88说明该包经过AES加密而未经gzip压缩

利用后四个字节给出的cmd编号0x0320c9=205001我们可以搜索出发送私信功能所对应的Message子类


进一步可以找出发送私信使用的protobuf字段赋值方法


以及字段定义

自行编写proto文件还原必需字段，这是客户端信息上报的proto

这是私信的proto，然后用protoc编译为python格式脚本

还需要分析websocket的解包方法，因为大部分工作都和上面重复，我这里就只放个核心分析了
需要注意的是你client发送的时候用的是什么log_id，server响应的时候返回的就是什么log_id


到这里我们已经能完全理解某吧私信的工作流程了
首先是包格式

每个包的头部第1字节包含了是否AES加密、是否gzip压缩、是否包含extraData的信息
第2345字节为int32的cmd编号，用来标明该包是用于什么功能的，譬如1001对应客户端信息上报而205001对应私信，当服务端主动推送时这个cmd编号就能起到作用
第6789字节为int32的log_id，当你同时发了很多包时，这个log_id就可以用于区分哪个响应对应哪个请求
然后是websocket建立的流程
首先http101请求建立websocket，然后发送一个初始化包，里面包含用户身份信息BDUSS以及用RSA公钥加密过的密码secretKey，server用RSA密钥解密后生成和client一致的AES密钥，后续的所有包都会用这个密钥做AES加密后再传输
简单概括就是websocket建立→非对称加密协商密钥→对称加密传输数据
后面就是用python+aiohttp还原这整套流程，用我小号给大号发私信debug的效果如下



可以看到效果非常完美，下面我会粗略解释一下我的代码
首先是打包函数，这里AES加密的padding是手动实现的，要注意int转bytes应使用大端序


然后是解包函数，要注意因为server也用了padding，这里要用bytes.rstrip把填充的东西去掉

然后是AES加密功能的实现，salt就是从源码扒出来的，密钥生成方法sha1，迭代次数参考java设置为5，生成的密钥长度是32bytes也就是AES256


然后是比较精髓的WebsocketResponse类设计，通过一个弱引用字典实现对返回数据的异步等待
每次websocket请求都会产生一个该类的实例用于存放返回数据，产生实例的同时其初始化函数__init__会将实例本身添加到一个弱引用字典
当从websocket接收到返回数据时，数据分派器ws_dispatcher会按照req_id从弱引用字典中找到对应的WebsocketResponse实例，并将数据填进去，然后set _readable_event，之后read协程就会被解阻塞，最后将数据返回
为什么要使用弱引用？这是为了让WebsocketResponse实例在被丢弃时可以被自动gc，比如出现timeout。如果使用普通字典（强引用）来保存实例，那会导致作为字典值的实例无法被自动gc，如果程序运行时间足够长，超时请求累积到一定的数量，势必爆栈
然后这里__slots__里添加__weakref__是为了允许类实例被弱引用，添加__dict__是为了让_websocket_request_id可写
这个_websocket_request_id在每次创建实例时都会+1以保证每个实例的请求id的唯一性

read方法其实就是在等待_readable_event的set事件，不论有没有超时，read退出时都会将自己从弱引用字典ws_res_wait_dict里删除，意思是不再需要接收返回数据


然后是编写websocket的ClientSession，记得把那个http101请求里用到的headers带上


然后是编写websocket的数据接收与分派器，死循环等待读数据，读到之后就将数据填进WebsocketResponse实例，并通过_readable_event发出可读通知
当Client退出时这个ws_dispatcher也会被cancel掉，不需要担心什么溢出问题


连接websocket通过ClientSession._ws_connect实现，一并被创建的还有分派器


init_websocket会发送初始化信息，RSA加密的步骤全在这里实现


最后就是私信函数的实现

好了全文结束
上述提到的所有python代码（不包括debug脚本）都包含在https://github.com/Starry-OvO/Tieba-Manager/blob/master/aiotieba/client.py里，食用方法参考项目的README.md
如果这篇文章能帮到你，请给我的开源项目点一个star，非常感谢

Hmily

I D：Starry-OvO
邮箱：starry_cn@qq.com

申请通过，欢迎光临吾爱破解论坛，期待吾爱破解有你更加精彩，ID和密码自己通过邮件密码找回功能修改，请即时登陆并修改密码！
登陆后请在一周内在此帖报道，否则将删除ID信息。

Starry-OvO

来报到了，感谢版主大大