请教网址相同网页信息不同的怎么爬取

kognzhezhi · 发表于 2023-9-21 09:17

本帖最后由 kognzhezhi 于 2023-10-15 09:32 编辑

说一下情况：想爬取一个游戏账号交易网站的信息，有好几个大区可以自己选择，但是每个大区的网址都是一样的，就是我点击1号大区，显示的是1号大区的账号，点击2号大区，显示的是2号大区的账号， 1号和2号大区的网址是一样的，只是账号信息不一样

这样的怎么爬取呢，刚开始我用request 可以爬取一个大区的，但是因为每个大区的网址都是一样的，所以想爬取其他大区的账号实际上爬取的还是这个大区的账号
也想过用selenium 可以点击不同的大区然后爬取，但是比较麻烦，有没有更好点方法呢？求教

我今天是大佬 · 发表于 2023-9-21 09:25

打开开发者工具, 寻找对应的接口地址, 发起请求

暗夜星辰sky · 发表于 2023-9-21 09:26

网址一样，post参数肯定不一样，抓参数

下载小王子 · 发表于 2023-9-21 09:26

坐等大佬。

milu1123 · 发表于 2023-9-21 09:29

input(url)
if url = 1
else

366697846 · 发表于 2023-9-21 09:30

打开调试，切换不同大区。查看接口参数变化。Get就看网址变化。Post就看Post的参数变化。

hlking99 · 发表于 2023-9-21 09:41

浏览器按F12打开开发者工具，再切换大区看请求参数

18691616928 · 发表于 2023-9-21 09:48

用selenium下拉列表处理应该可以

lbbas · 发表于 2023-9-21 09:53

3楼正解。F12开发者工具看下参数或者Fiddler抓包看看具体请求参数。
requests.post(url,data=data) data={XXXX}

kognzhezhi · 发表于 2023-9-21 11:15

lbbas 发表于 2023-9-21 09:53
3楼正解。F12开发者工具看下参数或者Fiddler抓包看看具体请求参数。
requests.post(url,data=data) data= ...

好的我试试

帐号		自动登录	找回密码
密码			注册[Register]

[已解决] 请教 网址相同 网页信息不同的 怎么爬取

[已解决] 请教网址相同网页信息不同的怎么爬取