scrapy爬取某图

喵什么喵

环境依赖python3.6+；scrapy，pillow。请提前安装好。
目录结构，红圈内为可配置文件
ligui.py中，第10行的strat_urls可以根据自己需要修改。具体根据个人喜好，填入网站已经分类好的标签页。网站并没有页面直接列举出所有标签。请自行根据兴趣发掘填入。
setting.py中，第96行为图片存储路径，修改时保持\\。
下载的图片会根据页面节点标题创建子文件夹来保存。
运行可以在IDE里面直接运行main.py。也可以在cmd环境，main.py目录下执行 python main.py。想用scrapy命令执行的，请参考mian.py里的内容。
scrapy是一个异步爬虫框架，供有兴趣的入门选手参考。
meitulu.zip (16.41 KB, 下载次数: 51)

2020-3-10 09:52 上传

点击文件名下载附件

jiji262

下载了250G了 还没结束。什么时候是个头啊

喵什么喵

jiji262 发表于 2020-3-10 12:52
下载了250G了 还没结束。什么时候是个头啊

为了网站和自己身体的健康，请小规模使用。

zxxll

谢谢分享