scrapy 200w数据为何只请求了2w跳

18220345933 · 发表于 2019-12-12 15:57

大佬们，最近使用scrrapy的时候出现一个很奇怪的问题 (接口的数据是从数据库中拿出来然后放在列表中，循环访问的) 爬虫访问接口本来应该访问200w多次但是跑完之后(没有报错误的情况下) 只访问了2w多次 (j接口数据没有重复的) 有没有大佬遇到过同样的情况

scrapy · 发表于 2019-12-12 16:39

你先看看是不是网站的限制，看看是不是后面的数据不能采集，scrapy会自动去重，不知道是否是重复的。。信息太少，不太能看出来

18220345933 · 发表于 2019-12-12 16:45

scrapy 发表于 2019-12-12 16:39
你先看看是不是网站的限制，看看是不是后面的数据不能采集，scrapy会自动去重，不知道是否是重复的。。信息 ...

不是网站的限制问题，也不是去重的问题，给的接口都是不一样的抱歉因为没有报错的地方所以不知道哪里需要截图

18220345933 · 发表于 2019-12-12 16:47

这个是具体的代码 spider部分就是stat_request 访问接口数据，然后存储

boyanuir · 发表于 2019-12-12 16:50

可能是接口限制一次访问量，重新找个接口，或者拼凑接口，比如接口中带？page=100 这样类似的

18220345933 · 发表于 2019-12-12 16:51

boyanuir 发表于 2019-12-12 16:50
可能是接口限制一次访问量，重新找个接口，或者拼凑接口，比如接口中带？page=100 这样类似的

拼凑数来的接口由代{过}{滤}理ip来访问，

帐号		自动登录	找回密码
密码			注册[Register]

[求助] scrapy 200w数据为何只请求了2w跳