好友
阅读权限10
听众
最后登录1970-1-1
|
爬虫逆向基础之sign加密破解目标网站:aHR0cHM6Ly9zb3VrZS54ZGYuY24vc2VhcmNoP2NpdHlDb2RlPTQ0MDEwMCZjYXRlZ29yeUNvZGU9MTIw网站分析打开F12,找到对应的网页数据,并选择response,查看网页源代码,是否在网页代码中存在目标数据。很遗憾,并没有发现目标数据,因此这必然是一个动态加载的数据,数据分类属于XHR。抓取动态数据首先清空刚刚的所有包,然后包的分类选择Fetch/XHR,选择后点击页面跳转,自然就会出现图上所框住的两条数据。点击数据后发现确实如我所预料的,它是通过动态数据加载进页面的,那就好办了。Query String Parameters指的是查询参数的意思。在上图一共有6个查询参数,分别是:1、appid:未知标识2、cityCode:城市编码(该网站设置的)3、t:时间戳(当前系统的时间,指的是由1970年1月1日开始所经过的秒数)4、PageIndex:页码5、pageSize:一个页面有多少个数据6、categoryCode:课程列别编码(该网站设置的)https://dsapi.xdf.cn/product/v2/class/search?appId=5053&cityCode=440100&t=1703562702537&pageIndex=2&pageSize=12&categoryCode=1200&order=0问号后面的就是查询参数。分析headers这个案例如果没有加密那我肯定就不会写了是不是?在请求头的位置出现了Sign值,意味着在对目标发起请求时需要携带Sign值去访问。但是经过测试sign值是不断变换的,我们可以来做一次测试。这里给大家介绍一个网站,可以自动生成代码https://curlconverter.com/操作步骤:1、选择目标数据接口——>右键——>copy——>copy all as cURL2、将复制的内容粘贴到目标网站即可。import requests
​
headers = {
'Accept': '*/*',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
'Content-Type': 'application/json',
'Origin': 'https://souke.xdf.cn',
'Pragma': 'no-cache',
'Referer': 'https://souke.xdf.cn/search?cityCode=440100&categoryCode=120',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-site',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'sec-ch-ua': '"Not_A Brand";v="8", "Chromium";v="120", "Google Chrome";v="120"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sign': '9790abf162133a24a9318d33b9957410',
}
​
params = {
'appId': '5053',
'cityCode': '440100',
't': '1703566319153',
'pageIndex': '1',
'pageSize': '12',
'categoryCode': '120',
'order': '0',
}
​
response = requests.get('https://dsapi.xdf.cn/product/v2/class/search', params=params, headers=headers)
print(response.json())运行结果:{'status': 1, 'message': '操作成功', 'data': {'totalRecords': 445, 'maxRecords': 445, 'nearbyDistance': 3.0, 'classList': [{'schoolId': 1139, 'cityCode': '440100', 'code': 'AF24B202013', 'name': '【法语小班直播】B2(假期上午12月27日开课)', 'learnPlace': '详见课表', 'startDate': '2023-12-27 08:30:00', 'endDate': '2024-01-29 10:30:00', 'learnTime': '2023.12.27-2024.1.26周一二三四五08:30-12:30;2024.1.29周一08:30-10:30', 'lessonTimes': 23, 'realMinutes': 5400, 'maxNum': 20, 'currentNum': 3, 'price': 6000.0, 'isNet': True, 'classMode': '107', 'teachingMethod': '229', 'isReservation': False, 'isCanInsert': False, 'insertLessonNumber': None, 'insertLessonTimeText': None, 'insertLessonFee': None, 'isAllFeeInsert': False, 'relationCode': None, 'registrationState': 1, 'quarter': '1,2,3,4', 'distance': None, 'cityId': 31, 'classCapacityName': '25人', 'subjectName': None, 'teacherList': None, 'seasonName': '春,暑,秋,寒'}, ]}, 'code': '200'}上述结果我省略了一些内容。通过访问发现是正常的,但是这只是一页的结果,如果将pageIndex的值设置成2,来看看结果{'status': 0, 'message': '请求过期', 'code': '-2'}分析调用堆栈点击Initiator,并未发现下面的函数有0x开头的值,因此并不存在代码的混淆。那就好办了。断点测试向这类没有混淆的代码,我们可以直接通过断点url的路径。首先复制下划线的内容。按照上图所示的步骤将路径复制到XHR断点中。完成上述步骤后点击翻页操作。很好,点击翻页后就找到了sign的生成方式,打个断点看看对不对。得到的结果是一样的,进一步证明了我们找到的代码是正确的。接下来继续打下断点,看看ve是个什么东西。不难发现进去之后又是一串函数,而参数u则是刚刚一部分查询参数。接下来分析ve函数进来ve函数后,打上断点得到这个ve这个函数就是生成sign值的部分它是由t和Ke.b拼接而成的加密数据原数据:appId=5053&cityCode=440100&t=1703572500623&pageIndex=4&pageSize=12&categoryCode=120&order=0750F82C2-D8F6-49F6-878C-1E7EBEBC8DA2那它是怎么样转换成加密的呢?它的加密逻辑是什么?这里大家如果对js比较熟悉就不难发现这个是属于MD5加密。当然不熟也没有关系,大部分网站对sign值的加密都是MD5。那我们找个在线的MD5加密网站测试一下。与刚刚输出的结果一致。编写js代码// 需要在当前目录安装crypto-js
const CryptoJs = require('crypto-js')
t = (new Date).getTime()
encrypt1 = CryptoJs.MD5('appId=5053&cityCode=440100&t=1703572500623&pageIndex=4&pageSize=12&categoryCode=120&order=0750F82C2-D8F6-49F6-878C-1E7EBEBC8DA2').toString()
console.log(encrypt1)输出结果:16eb08631842bcb315ca7fc8ac164eae需要配置node,具体过程自行查找,另外vscode需要安装run code插件。最后在项目文件夹安装crypto-jsnpm install crypto-js使用python执行js代码pip install pyexecjs
pip install pyexecjs2首先安装第二版本的pyexecjs,现在网上你能找到的大部分教程都是以1版本为主,但是那个已经不再维护了。import execjs
with open('dome1.js', 'r', encoding='utf-8') as f:
js = f.read()
ctx = execjs.compile(js)
sign = ctx.call('get_sign')
print(sign)运行结果16eb08631842bcb315ca7fc8ac164eae代码优化在js中有两部分的内容必然会更改,第一个是时间戳,第二个则是页面。function get_time(){
t = (new Date).getTime()
return t
}
function get_sign(pageIndex, t){
const CryptoJs = require('crypto-js')
console.log(t)
encrypt1 = CryptoJs.MD5('appId=5053&cityCode=440100&t='+t+'&pageIndex='+pageIndex+'&pageSize=12&categoryCode=120&order=0750F82C2-D8F6-49F6-878C-1E7EBEBC8DA2').toString()
return encrypt1
}import execjs
with open('dome1.js', 'r', encoding='utf-8') as f:
js = f.read()
ctx = execjs.compile(js)
t = str(ctx.call('get_time'))
print(t)
pageIndex = 2
sign = ctx.call('get_sign', pageIndex, t)
print(sign)这样每次运行的结果都是不一样的了。sign值根据页码和时间进行变化。完整代码import requests
import execjs
with open('dome1.js', 'r', encoding='utf-8') as f:
js = f.read()
for page in range(1, 39):
ctx = execjs.compile(js)
t = str(ctx.call('get_time'))
pageIndex = page
sign = ctx.call('get_sign', pageIndex, t)
headers = {
'Accept': '*/*',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
'Content-Type': 'application/json',
'Origin': 'https://souke.xdf.cn',
'Pragma': 'no-cache',
'Referer': 'https://souke.xdf.cn/search?cityCode=440100&categoryCode=120',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-site',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'sec-ch-ua': '"Not_A Brand";v="8", "Chromium";v="120", "Google Chrome";v="120"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sign': sign,
}
params = {
'appId': '5053',
'cityCode': '440100',
't': t,
'pageIndex': str(pageIndex),
'pageSize': '12',
'categoryCode': '120',
'order': '0',
}
response = requests.get('https://dsapi.xdf.cn/product/v2/class/search', params=params, headers=headers)
print(response.json())代码持续优化正在努力加班中
|
免费评分
-
查看全部评分
|