网站 › 『编程语言区』 › scrapy初体验

QingYi. 发表于 2021-6-27 18:54

scrapy初体验

首先需要安装scrapy : https://doc.scrapy.org/en/latest/intro/tutorial.html


目标地址： https://news.cnblogs.com/


代码以附件形式上传



把爬取到的所有内容保存到本地和数据库中


代码里面都有注释，可以参考学习





从main函数运行







东西我都给大家填好了 只需要填入你的cookie 即可





最后运行 效果图如下：


总结：
关于这次scrapy的体验 让我学到只要能看到数据就可以丢给scrapy去下载，是异步的。爬取速度非常之快，不到一分钟就能爬取到了一千条+数据，数据库最多显示1000条数据了。
还是十分的简单，需要多理解消化。

QingYi. 发表于 2021-6-28 13:44

本帖最后由 QingYi. 于 2021-6-28 13:46 编辑

fangqiezi 发表于 2021-6-28 13:25
你好， 可以出个爬取一个网站链接，比如一个网站，里的所有链接，去除外网的链接，循环爬，获取到所有链 ...
理论上是可以做到。

Migroom 发表于 2021-6-27 19:40

厉害了给力

QingYi. 发表于 2021-6-27 19:46

Migroom 发表于 2021-6-27 19:40
厉害了给力

我靠 你下都没下就知道给力了 你可真是我知音

Wapj_Wolf 发表于 2021-6-27 20:25

5分有些小贵，需要时再来，看图过瘾后飘走。

星辰一枚 发表于 2021-6-27 20:56

看着还是比较厉害，有点贵。

music984 发表于 2021-6-27 21:54

Darkline 发表于 2021-6-27 20:20
楼上的哥们水经验呢    当我看到下载次数0再看他的回复我笑了。

楼主真相了:lol

QingYi. 发表于 2021-6-27 22:19

Wapj_Wolf 发表于 2021-6-27 20:25
5分有些小贵，需要时再来，看图过瘾后飘走。

还好 CB是免费的，写这些代码有花费我的时间和精力。

nizsm123 发表于 2021-6-28 08:32

代码是不是该单独贴出来下???

叫我小王叔叔 发表于 2021-6-28 08:47

就喜欢注释全的代码，学习的好教程，感谢

QingYi. 发表于 2021-6-28 09:49

nizsm123 发表于 2021-6-28 08:32
代码是不是该单独贴出来下???

You have a great idea

查看完整版本: scrapy初体验