CainY 发表于 2022-1-10 23:09

想用python去获得某网页上一个动态加载(应该是)的网址

问题背景:学校里有一个每天的填报,要用手机端的app,但是记性并不好,经常忘记,所以想弄一个脚本每日自动填报.
思路:1.在进行填报时对应用进行抓包,得到专属填报地址 2.分析前面得到的网页,得到进入填报的详情页面 3.分析详情页面的表单提交方式,模拟表单提交
现在的问题:在进行步骤2时,发现详情页面的地址可以用F12查看,但是从网页源代码里没有,从网上了解到应该是用js动态加载的,但是看网上的各种教程仍不得其法.请问有什么能纯用python代码获得这种地址的好方法吗?
ps:之前用selenium调用浏览器内核可以提取到那个地址,但是我是想把代码部署到云函数上的,在那里没有内核文件可以调用
求大神们帮我指点一下,或者我的思路哪里不大正确,绕了弯路,帮我纠正一下,提个意见

海棠啊 发表于 2022-1-10 23:38

613PJ 发表于 2022-1-10 23:43

太难,学会了教你

silence2540 发表于 2022-1-10 23:44

F12除了源代码还有个网络,你看看网络那部分里面有没有你想要的动态加载的请求?
还有建议给出例子,网址或者截图啥的。。。

CainY 发表于 2022-1-10 23:58

海棠啊 发表于 2022-1-10 23:38
什么app是易班吗

学校的app

CainY 发表于 2022-1-11 00:00

silence2540 发表于 2022-1-10 23:44
F12除了源代码还有个网络,你看看网络那部分里面有没有你想要的动态加载的请求?
还有建议给出例子,网址 ...

在网络里我也看不出来只有几个js和css文件
截图啥的处处是隐私,不好截

fengyuan666 发表于 2022-1-11 00:00

腾讯云服务器很便宜的

CainY 发表于 2022-1-11 00:07

limuyan44 发表于 2022-1-11 00:01
学校的app大概率没啥技术含量,还是抓个包自己发接口方便,什么动态加载就算了完全走错了路子。

抓包这个东西,很强大,但我是不大明白的.
还有就是,我不知道发接口是啥啊,app的api接口吗?

wshuo 发表于 2022-1-11 00:11

思路没有问题,不过无需selenium这种框架,这种框架针对的都是特别复杂的js混淆加密(或者自动化测试),并且效率很低,这种动态加载的一般都是页面上的元素,跟你需要分析的东西无关,你需要获取其实只要一个关键的提交表单请求(也可能是提交json),我建议直接对手机app进行抓包,如果你提交的请求网址是https的,手机需要安装好https证书(如果你提交网址是https),然后提交一次请求,数据包抓包软件可以使用charles。另外如果你手机是android 7.0以上,并且网址是https连接,你可能需要重新反编译apk将证书添加进去,或者使用模拟器+xposed框架+justTrustMe插件 强制信任证书 的解决方案,当然如果提交请求是http请求那么上面所有问题都没有了,只需要抓包。另外提交前如果需要身份认证,你还需要做一个登录的逻辑,简单来说就是账号密码提交作为一个请求提交到服务器,然后服务器会返回cookie, 当你真正想提交内容的时候需要带上这个cookie。我上大学时也做个自动填报的东西,不过直接就是web端的(校内服务器部署的垃圾网站,都是http请求),所以直接浏览器抓包就可以了,如果你web端可以进行提交,建议直接f12抓包,然后剩下的就是用python简单构建这个请求了

空白c 发表于 2022-1-11 01:02

海棠啊 发表于 2022-1-10 23:38
什么app是易班吗

wc,我也想获取易班活动
页: [1] 2 3
查看完整版本: 想用python去获得某网页上一个动态加载(应该是)的网址