请教 网址相同 网页信息不同的 怎么爬取
本帖最后由 kognzhezhi 于 2023-10-15 09:32 编辑说一下情况：想爬取一个游戏账号交易网站的信息， 有好几个大区可以自己选择，但是每个大区的网址都是一样的，就是我点击1号大区 ，显示的是1号 大区的账号，点击2号大区 ，显示的是2号大区的账号， 1号和2号大区的网址是一样的，只是账号信息不一样
这样的怎么爬取呢，刚开始我用request 可以爬取一个大区的，但是 因为每个大区的网址都是一样的，所以想爬取其他大区的账号实际上爬取的还是这个大区的账号
也想过用selenium 可以点击不同的大区 然后爬取，但是比较麻烦，有没有更好点方法呢 ？求教 打开开发者工具, 寻找对应的接口地址, 发起请求 网址一样，post参数肯定不一样，抓参数 坐等大佬。 input(url)
ifurl = 1
else 打开调试，切换不同大区。查看接口参数变化。Get就看网址变化。Post就看Post的参数变化。 浏览器按F12打开开发者工具，再切换大区看请求参数 用selenium下拉列表处理应该可以 3楼正解。F12开发者工具看下参数或者Fiddler抓包看看具体请求参数。
requests.post(url,data=data)data={XXXX} lbbas 发表于 2023-9-21 09:53
3楼正解。F12开发者工具看下参数或者Fiddler抓包看看具体请求参数。
requests.post(url,data=data)data= ...
好的 我试试
页:
[1]