解决Python爬虫的问题

wdxddszl · 发表于 2019-11-29 00:33

本帖最后由 wdxddszl 于 2019-11-29 12:47 编辑

在scrapy crawl quotes的运行中显示：由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。，求解决！！！

BestSum · 发表于 2019-11-29 09:34

楼主源码发出来让大家看看，不知道你的意思是服务器挂了，还是代码有问题，只发错误信息，大家也不知道怎么回事

w92vv · 发表于 2019-11-29 10:27

发出源码，学习学习！

叶王 · 发表于 2019-11-29 10:35

正常吧，我当初爬百度百科的时候经常出现这种问题，最后加了一个time.sleep(5)，就没这问题了

M-Riley · 发表于 2019-11-29 11:49

出现这个显示一般都是爬虫被服务器检测到了，scrapy默认的多线程请求太频繁，在setting.py里面是可以设置请求频率的，另外还可以设置随机ua，修改默认的headers或cookie,scrapy的cookie不能放在headers里面等等，也有可能是你请求的地址有问题，或者缺少参数等

wdxddszl · 发表于 2019-11-29 17:11

BestSum 发表于 2019-11-29 09:34
楼主源码发出来让大家看看，不知道你的意思是服务器挂了，还是代码有问题，只发错误信息，大家也不知道怎么 ...

代码没问题，我是跟视频学的

wdxddszl · 发表于 2019-11-29 17:13

只是，他成功运行了，而我的cdm中显示着个东西，操作失败，还不知道哪里出了问题。。。

wdxddszl · 发表于 2019-11-29 17:14

M-Riley 发表于 2019-11-29 11:49
出现这个显示一般都是爬虫被服务器检测到了，scrapy默认的多线程请求太频繁，在setting.py里面是可以设置请 ...

多谢建议，只是可不可以再详细点，新手上路，这些都还不懂

wdxddszl · 发表于 2019-11-29 17:16

叶王发表于 2019-11-29 10:35
正常吧，我当初爬百度百科的时候经常出现这种问题，最后加了一个time.sleep(5)，就没这问题了

在哪里加，可以详细点不

叶王 · 发表于 2019-11-29 17:22

wdxddszl 发表于 2019-11-29 17:16
在哪里加，可以详细点不

这个要看你的代码了，你可以在每次访问网址之前，或者拿到数据之后，都可以的

帐号		自动登录	找回密码
密码			注册[Register]

[求助] 解决Python爬虫的问题