网站 › 『编程语言区』 › 用scrapy框架实现捉取英雄联盟英雄皮肤图片

oskfh 发表于 2019-3-5 14:29

用scrapy框架实现捉取英雄联盟英雄皮肤图片

本帖最后由 oskfh 于 2019-3-5 23:31 编辑

之前看到有人用多线程的生产消费者模型写了一个爬虫来捉英雄皮肤图片,我就想看能不能用scrapy框架实现,
多线程版本爬虫地址:https://www.52pojie.cn/forum.php ... ypeid%26typeid%3D29

因为框架很多东西都封装好,而且scrapy基于twisted异步IO, 效率更快

下面上图, 如果你们感兴趣,可以在下面评论,给我几个热心值吧,哈哈哈,我会公布源码出来
源码地址: https://github.com/feng504x/my_scrapy

oskfh 发表于 2019-3-6 14:03

时空之外 发表于 2019-3-6 13:48
谢谢楼主啦，不过出了点儿问题~

这个是redis的,你本地可能没有开redis服务, 或者你去settings.py , 注销最下边的redis的配置

oskfh 发表于 2019-3-6 14:02

时空之外 发表于 2019-3-6 13:48
谢谢楼主啦，不过出了点儿问题~

这个是redis的,你本地可能没有开redis服务, 或者你去settings.py , 注销最下边的redis的配置

时空之外 发表于 2019-3-5 14:49

亲，是不是把源代码贴出来好点儿{:1_889:}

oskfh 发表于 2019-3-5 15:01

时空之外 发表于 2019-3-5 14:49
亲，是不是把源代码贴出来好点儿

等会啊,我上传github

oskfh 发表于 2019-3-5 15:02

时空之外 发表于 2019-3-5 14:49
亲，是不是把源代码贴出来好点儿

等会啊,我上传 github

oskfh 发表于 2019-3-5 23:32

时空之外 发表于 2019-3-5 14:49
亲，是不是把源代码贴出来好点儿

1楼已更新github地址了

时空之外 发表于 2019-3-6 13:48

本帖最后由 时空之外 于 2019-3-6 13:54 编辑

oskfh 发表于 2019-3-5 23:32
1楼已更新github地址了
谢谢楼主啦，不过出了点儿问题~

时空之外 发表于 2019-3-6 14:21

oskfh 发表于 2019-3-6 14:03
这个是redis的,你本地可能没有开redis服务, 或者你去settings.py , 注销最下边的redis的配置
真的可以了，谢谢~

oskfh 发表于 2019-3-8 18:22

好东西顶一下先啦

查看完整版本: 用scrapy框架实现捉取英雄联盟英雄皮肤图片