解决Python爬虫的问题
本帖最后由 wdxddszl 于 2019-11-29 12:47 编辑在scrapy crawl quotes的运行中显示：由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。，求解决！！！https://attach.52pojie.cn//forum/201911/29/124616d95rzg20rbg2w6wz.png?l 楼主源码发出来让大家看看，不知道你的意思是服务器挂了，还是代码有问题，只发错误信息，大家也不知道怎么回事 发出源码，学习学习！ 正常吧，我当初爬百度百科的时候经常出现这种问题，最后加了一个time.sleep(5)，就没这问题了 出现这个显示一般都是爬虫被服务器检测到了，scrapy默认的多线程请求太频繁，在setting.py里面是可以设置请求频率的，另外还可以设置随机ua，修改默认的headers或cookie,scrapy的cookie不能放在headers里面等等，也有可能是你请求的地址有问题，或者缺少参数等 BestSum 发表于 2019-11-29 09:34
楼主源码发出来让大家看看，不知道你的意思是服务器挂了，还是代码有问题，只发错误信息，大家也不知道怎么 ...
代码没问题，我是跟视频学的
只是，他成功运行了，而我的cdm中显示着个东西，操作失败，还不知道哪里出了问题。。。
M-Riley 发表于 2019-11-29 11:49
出现这个显示一般都是爬虫被服务器检测到了，scrapy默认的多线程请求太频繁，在setting.py里面是可以设置请 ...
多谢建议，只是可不可以再详细点，新手上路，这些都还不懂{:1_907:}{:1_908:}
叶王 发表于 2019-11-29 10:35
正常吧，我当初爬百度百科的时候经常出现这种问题，最后加了一个time.sleep(5)，就没这问题了
在哪里加，可以详细点不{:1_908:}
wdxddszl 发表于 2019-11-29 17:16
在哪里加，可以详细点不
这个要看你的代码了，你可以在每次访问网址之前，或者拿到数据之后，都可以的
页:
[1]
2