txq0211 发表于 2022-4-19 12:02

全系统百宝箱之网站扒皮工具

本帖最后由 txq0211 于 2022-4-22 15:06 编辑

目标:
整理完善我的百宝箱,不段更新避免有些工具太久没用过时了都不知道,
覆盖范围Windows+Mac+Linux(KylinOS、UOS,支持国产操作系统的工具研究优先),
研究常用工具如何向国产终端过渡,跟进国产化工具进程,如有不足希望大家指正,会不根据大家建议不断优化工具箱。

工具箱内容:

废话少说,先上网站扒皮工具地址:https://www.123pan.com/s/2GLRVv-4W4Gv

Windows工具:仿站小工具,适合单页面抓,只想用一个页面的时候用它。
Windows工具:WinHTTrack(2017以来未更新),非常好用的一个工具,我抓整站用的最多就是它。
MacOS工具:SiteSucker Pro,Mac系统上一款暴力整站工具,只需输入一个URL,按下回车键,就可以下载整个网站,就是这么简单!。
Linux工具:需要用到我们平时最常用的命令行下载器Wget,就能完成整个网站数据的下载操作。

#下面的命令会在终端所在目录创建一个www.2kil.com目录,将网站www.2kil.com上的数据全部下载到这个目录中wget -rck -np www.2kil.com
wget -rck -np www.2kil.com
#对应参数解释:
#-r,递归下载
#-c,断点续传,若网站长时间未响应或中途断开,此参数可以让数据断点续传
#-k,转换链接为本地链接
#-np,--no-parent不追溯至父级
Windows工具:wget.exe,用法和Linux相似,不过可以基于此开发。
.\wget.exe -rck -np www.2kil.com

这些工具可以将目标站点的目录结构、html 网页、图像、PDF、样式表、音视频等文件异步保存到本地。
工具思考:

曾经有一个非常棒的网站摆在我面前我没有珍惜。
等这个网站404的时候我才后悔莫及,人世间最痛苦的事莫过于此。
好在,自从会扒皮后,看到好的网站,就把它扒下来。当然不是所有的网站都能扒下来,
对于静态网站(没后台,代码是写死的,包括动画效果代码,包括模板网站)效果比较好,
对于动态网站(有后台,有数据库的,前端代码通过接口由后台数据库生成的网站)的效果可能不太好。
简单说来,没后台的随便扒,有后台的就看后台腹部复杂了。
就像我扒下这个动效周期表网站,就是一个动画网站,但是不影响我把它全部扒下来:

搞教程的不会扒皮,官网没了,搞到后面就断更了太监了。
(学动画的话,动效周期表挺不错的资源,之前帖子发错位置被清除。
懒得重发了,下载地址放这里。如果恰好有学动画,又有想扒皮的小伙伴一个彩蛋吧)
动效周期表地址:https://www.123pan.com/s/2GLRVv-wW4Gv
1、Windows工具:仿站小工具


2、Windows工具:WinHTTrack


3、MacOS工具:SiteSucker Pro


4、Linux工具:Wget

5、Windows工具:wget.exe

rooob 发表于 2022-4-19 14:19

wget -r -p -np -k 网站地址

txq0211 发表于 2022-4-19 17:00

本帖最后由 txq0211 于 2022-4-19 17:04 编辑

uan 发表于 2022-4-19 15:02
这两个工具其实已经不怎么好用了,尤其是现在的h5、及各种特效类的网站,这两个工具都不怎么好用
H5、动效这些只要是静态的,代码不是数据生成的都可以抓

uan 发表于 2022-4-19 15:02

这两个工具其实已经不怎么好用了,尤其是现在的h5、及各种特效类的网站,这两个工具都不怎么好用

jimmy1177 发表于 2022-4-21 14:15

网站扒皮其实就是要网站的风格,所以用浏览器直接保存静态HTML页面就可以了,无非就是首页,列表页,详情页,以及部分专题, 一个种类的页面保存一个就行了,因为统一都调用style.css, 把各页面的元素拼凑一下也能自己创造新页面出来,没那么复杂。专业扒皮20年~~~

我是一个外星人 发表于 2022-4-19 12:16

支持一下。

long8586 发表于 2022-4-19 12:21

支持一下。感谢!

LTcorpio 发表于 2022-4-19 12:21

曾经想找却怎么也找不到,如今吾爱一眼便遇见。
感谢作者大大

okay1024 发表于 2022-4-19 12:22

感谢分享,我去试试,哈哈

djxding 发表于 2022-4-19 12:23

感谢楼主分享。

收藏备用。

lugo 发表于 2022-4-19 12:31


支持一下。感谢!

symbolshen 发表于 2022-4-19 12:58

学习一下 很有用

CXC303 发表于 2022-4-19 13:03

感谢分享

huiker231 发表于 2022-4-19 13:10

感谢分享。只能扒些图片吗?
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: 全系统百宝箱之网站扒皮工具