sanen688 发表于 2024-4-25 10:43

求一个python捉取全站url的脚本，不包含外站url

如我想要获取https://ruiwen.com 这个站点的所有url，我自己写的脚本爬取url都是只能捉取首页的所有链接，下一页内页的url获取不到。求大佬帮助一下

Maiz1888 发表于 2024-4-25 15:51

https://www.ruiwen.com/sitemap.html

sanen688 发表于 2024-4-25 16:58

Maiz1888 发表于 2024-4-25 15:51
https://www.ruiwen.com/sitemap.html

只有一点点url链接，不完整，感谢你的帮助

你好，再见 发表于 2024-4-25 21:58

sanen688 发表于 2024-4-25 16:58
只有一点点url链接，不完整，感谢你的帮助

怎么会不完整呢，搜索引擎都是根据sitemap抓取的

chaojiak47 发表于 2024-5-2 14:55

sanen688 发表于 2024-4-25 16:58
只有一点点url链接，不完整，感谢你的帮助

我看挺全的，页码自己加
页: [1]
查看完整版本: 求一个python捉取全站url的脚本，不包含外站url


免责声明：
吾爱破解所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:Service@52pojie.cn