有木有大神推荐一个可以抓取网站全部url（链接）的工具，或者写个py脚本

天地英雄 · 发表于 2021-5-21 12:52

有木有大神推荐一个可以抓取网站全部url（链接）的工具？
或者求帮忙写个相应的py脚本，只抓取url（链接）即可，不管网站上图片还是按钮，还是超链接，只要是url的统统抓取，就行
还有别复制粘贴别人的就可以了，谢谢大家

冥界3大法王 · 发表于 2021-5-21 12:52

本帖最后由冥界3大法王于 2021-5-21 20:45 编辑

@天地英雄
推荐你用浏览器扩展方式：
我研究了一晚上Web Scraper就基本上入门了
又自己汉化了下这下加深了使用印象

Edge浏览器上你就用 “迷你派采集器”扩展
为啥呢？因为浏览器的方式模拟正常的浏览网页方式（点击图片，链接，元素，视频等）
其他的呢？譬如用过Teleport Pro,IDM,火车头，八爪鱼,Python
它们都有各自的优点和缺陷，比如很多网站反爬虫；再有一个就是学习和上手的难度啦~~
比如html你都会啥？这点相当重要。
B站有很多视频，可以边看边测试啦。

比如你看当前页面，随便点两下就到手啦。

“迷你派采集器”更傻瓜些，但识别的需要活人再修改下

ligxi · 发表于 2021-5-21 13:02

全部就不要想了，很多网站现在都是动态加载资源的，url地址是不放在网页中的，而且有些还是用js处理后才是完整地址或者真正的地址。
有些更极端，对所有资源地址进行加密处理，不解开根本拿不到。

ibmall · 发表于 2021-5-21 13:23

试试IDM

-

天地英雄 · 发表于 2021-5-21 13:32

ligxi 发表于 2021-5-21 13:02
全部就不要想了，很多网站现在都是动态加载资源的，url地址是不放在网页中的，而且有些还是用js处理后才是 ...

有没有相对来说抓一些简单网页的工具？

天地英雄 · 发表于 2021-5-21 13:33

ibmall 发表于 2021-5-21 13:23
试试IDM

-

那不是下载工具么？

guoheb · 发表于 2021-5-21 14:15

以前用过一个下载全部网站的软件，可以选择下载到链接的第几层，你百度一下吧

绝非偶然 · 发表于 2021-5-21 15:36

提示: 作者被禁止或删除内容自动屏蔽

天地英雄 · 发表于 2021-5-21 15:58

guoheb 发表于 2021-5-21 14:15
以前用过一个下载全部网站的软件，可以选择下载到链接的第几层，你百度一下吧

叫什么啊

天地英雄 · 发表于 2021-5-21 16:00

绝非偶然发表于 2021-5-21 15:36
网站链接抓取器
http://www.downza.cn/soft/298318.html
蓝奏云下载地址：

这个不符合我的要求，谢谢了

帐号		自动登录	找回密码
密码			注册[Register]

[其他求助] 有木有大神推荐一个可以抓取网站全部url（链接）的工具，或者写个py脚本

最佳答案

绝非偶然绝非偶然当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	绝非偶然发表于 2021-5-21 15:36 提示: 作者被禁止或删除内容自动屏蔽
绝非偶然绝非偶然当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽