【分享】Scrapy采集网站的全部小说

孤独的明月 · 发表于 2018-5-4 16:00

本帖最后由 wushaominkk 于 2018-5-4 16:26 编辑

刚刚学会scrapy，写了一个简单的爬虫项目，功能是采集某小说网站的全部小说，保存到本地

送给刚刚学习scrapy的朋友学习。如果有什么好的建议欢迎评论交流，毕竟我也是刚刚学习scrapy

孤独的明月 · 发表于 2018-5-4 16:44

happy1314gao 发表于 2018-5-4 16:06
这个可以下载其他网站上的数据吗？

如果你能看懂源码，修改一两处就可以下载任意网站小说。否则只能下载源码里面指定网站的小说。
这个源码可供你学习思路，你可以照葫芦画瓢。

孤独的明月 · 发表于 2018-5-4 16:46

爱你分享发表于 2018-5-4 16:25
在哪学习爬虫啊？能不能给个链接

直接百度scrapy教学视频会有一大堆，框架是死的，但是教学scrapy的视频却是花样百千，都差不多

happy1314gao · 发表于 2018-5-4 16:06

这个可以下载其他网站上的数据吗？

爱你分享 · 发表于 2018-5-4 16:25

在哪学习爬虫啊？能不能给个链接

shaokui123 · 发表于 2018-5-4 16:57

热心回复！

BE一诺 · 发表于 2018-5-6 02:57

学习了，感谢

smalltotal · 发表于 2018-5-6 10:29

只看代码有点吃力。。。谢谢楼主

央月未晴 · 发表于 2018-7-23 18:24

谢谢楼主

woodeaster · 发表于 2018-7-23 19:39

我想了解下这个编辑代码的shell叫什么？

帐号		自动登录	找回密码
密码			注册[Register]

[Python 转载] 【分享】Scrapy采集网站的全部小说