scrapy初体验

QingYi. · 发表于 2021-6-27 18:54

首先需要安装scrapy : https://doc.scrapy.org/en/latest/intro/tutorial.html

目标地址： https://news.cnblogs.com/

代码以附件形式上传

把爬取到的所有内容保存到本地和数据库中

代码里面都有注释，可以参考学习

从main函数运行

QQ截图20210627184715.png

东西我都给大家填好了只需要填入你的cookie 即可

QQ截图20210627184859.png

最后运行效果图如下：

总结：
关于这次scrapy的体验让我学到只要能看到数据就可以丢给scrapy去下载，是异步的。爬取速度非常之快，不到一分钟就能爬取到了一千条+数据，数据库最多显示1000条数据了。
还是十分的简单，需要多理解消化。

ArticleSpider.7z (62.99 KB, 下载次数: 37)

QingYi. · 发表于 2021-6-28 13:44

本帖最后由 QingYi. 于 2021-6-28 13:46 编辑

fangqiezi 发表于 2021-6-28 13:25
你好，可以出个爬取一个网站链接，比如一个网站，里的所有链接，去除外网的链接，循环爬，获取到所有链 ...

理论上是可以做到。

Migroom · 发表于 2021-6-27 19:40

厉害了给力

QingYi. · 发表于 2021-6-27 19:46

Migroom 发表于 2021-6-27 19:40
厉害了给力

我靠你下都没下就知道给力了你可真是我知音

Wapj_Wolf · 发表于 2021-6-27 20:25

5分有些小贵，需要时再来，看图过瘾后飘走。

星辰一枚 · 发表于 2021-6-27 20:56

看着还是比较厉害，有点贵。

music984 · 发表于 2021-6-27 21:54

Darkline 发表于 2021-6-27 20:20
楼上的哥们水经验呢当我看到下载次数0再看他的回复我笑了。

楼主真相了

QingYi. · 发表于 2021-6-27 22:19

Wapj_Wolf 发表于 2021-6-27 20:25
5分有些小贵，需要时再来，看图过瘾后飘走。

还好 CB是免费的，写这些代码有花费我的时间和精力。

nizsm123 · 发表于 2021-6-28 08:32

代码是不是该单独贴出来下???

叫我小王叔叔 · 发表于 2021-6-28 08:47

就喜欢注释全的代码，学习的好教程，感谢

QingYi. · 发表于 2021-6-28 09:49

nizsm123 发表于 2021-6-28 08:32
代码是不是该单独贴出来下???

You have a great idea

帐号		自动登录	找回密码
密码			注册[Register]

[Python 原创] scrapy初体验

免费评分

免费评分