想用python去获得某网页上一个动态加载(应该是)的网址

CainY

问题背景:学校里有一个每天的填报,要用手机端的app,但是记性并不好,经常忘记,所以想弄一个脚本每日自动填报.
思路:1.在进行填报时对应用进行抓包,得到专属填报地址 2.分析前面得到的网页,得到进入填报的详情页面 3.分析详情页面的表单提交方式,模拟表单提交
现在的问题:在进行步骤2时,发现详情页面的地址可以用F12查看,但是从网页源代码里没有,从网上了解到应该是用js动态加载的,但是看网上的各种教程仍不得其法.请问有什么能纯用python代码获得这种地址的好方法吗?
ps:之前用selenium调用浏览器内核可以提取到那个地址,但是我是想把代码部署到云函数上的,在那里没有内核文件可以调用
求大神们帮我指点一下,或者我的思路哪里不大正确,绕了弯路,帮我纠正一下,提个意见

613PJ

太难，学会了教你

silence2540

F12除了源代码还有个网络，你看看网络那部分里面有没有你想要的动态加载的请求？
还有建议给出例子，网址或者截图啥的。。。

CainY

海棠啊 发表于 2022-1-10 23:38
什么app  是易班吗

学校的app

CainY

silence2540 发表于 2022-1-10 23:44
F12除了源代码还有个网络，你看看网络那部分里面有没有你想要的动态加载的请求？
还有建议给出例子，网址 ...

在网络里我也看不出来只有几个js和css文件
截图啥的处处是隐私,不好截

fengyuan666

腾讯云服务器很便宜的

CainY

limuyan44 发表于 2022-1-11 00:01
学校的app大概率没啥技术含量，还是抓个包自己发接口方便，什么动态加载就算了完全走错了路子。

抓包这个东西,很强大,但我是不大明白的.
还有就是,我不知道发接口是啥啊,app的api接口吗?

wshuo

思路没有问题，不过无需selenium这种框架，这种框架针对的都是特别复杂的js混淆加密（或者自动化测试），并且效率很低，这种动态加载的一般都是页面上的元素，跟你需要分析的东西无关，你需要获取其实只要一个关键的提交表单请求（也可能是提交json），我建议直接对手机app进行抓包，如果你提交的请求网址是https的，手机需要安装好https证书（如果你提交网址是https），然后提交一次请求，数据包抓包软件可以使用charles。另外如果你手机是android 7.0以上，并且网址是https连接，你可能需要重新反编译apk将证书添加进去，或者使用模拟器+xposed框架+justTrustMe插件 强制信任证书 的解决方案，当然如果提交请求是http请求那么上面所有问题都没有了，只需要抓包。另外提交前如果需要身份认证，你还需要做一个登录的逻辑，简单来说就是账号密码提交作为一个请求提交到服务器，然后服务器会返回cookie, 当你真正想提交内容的时候需要带上这个cookie。我上大学时也做个自动填报的东西，不过直接就是web端的（校内服务器部署的垃圾网站，都是http请求），所以直接浏览器抓包就可以了，如果你web端可以进行提交，建议直接f12抓包，然后剩下的就是用python简单构建这个请求了

空白c

海棠啊 发表于 2022-1-10 23:38
什么app  是易班吗

wc，我也想获取易班活动