状态码500的问题

YuanFang0w0

还是之前的项目，解决了数据获取的问题，现在大量爬取测试以后发现了新的问题。
问题描述:
需要解析一个分类，分类有11w个数据。
每页15个。最多是30个。不过这个不影响。
以15个为一页，请求到666页可以正常返回数据。然后请求第667页就会状态码500，返回的就是服务器错误。
以30个为一页，也是一样的，第333页正常，再多加一页就会出现跟上面一样的问题。
想了半天不知道什么问题。请大佬解决。
并且我不是通过request发请求的。
我是用浏览器控制台发送fetch请求的。
这种发请求方式以及为什么采用这个方式可以看我之前的帖子。
对于那个状态码500的我不知道什么原因，我也不可能浏览器真的去翻页666也吧。浏览器里面并不会显示第几页，只是随着滚动条往下自动加载而已。并没有明显的页码标识。只有在请求中才有。

话痨司机啊

问题简单分析：第一500错误可能是服务器故意发送给客户端的（碰到过这样的包，包的代码500，内涵混淆JS验证，通过了才会继续获取信息），第二，服务器本身代码逻辑错误，导致没开始执行逻辑报错，第三，我觉得比较少见，就是注意下参数有没有携带时间戳吧，如果有的话可能服务器也有验证规定时间内获取数据有个阈值，具体情况具体分析吧，怎么说你描述的问题还是有些笼统，如果可以共享一下爬取地址最好了。

tanyh

500应该是后端没有把错误打印出来，开debug模式试试

a147888123

加代{过}{滤}理IP，或者减少频率，你到返回500得时候打印下返回得数据，就是让你输入验证码了

YuanFang0w0

话痨司机啊 发表于 2022-5-28 15:56
问题简单分析：第一500错误可能是服务器故意发送给客户端的（碰到过这样的包，包的代码500，内涵混淆JS验证 ...

地址是国外的一个网站，artstation.com，爬用户信息，时间戳没有。然后我这个用的vpn的。我感觉可能是服务器故意发送的，因为每页15个，第1页到第666页都可以，到667页就行了。换成每页30个刚好第333页可以，第334页就不行了。要不就是服务器逻辑问题。

YuanFang0w0

a147888123 发表于 2022-5-28 16:29
加代{过}{滤}理IP，或者减少频率，你到返回500得时候打印下返回得数据，就是让你输入验证码了

本身就是外国网站，然后用的vpn，换节点也不行，然后网络连接手机热点，手机开关飞行模式也不行。

YuanFang0w0

tanyh 发表于 2022-5-28 16:15
500应该是后端没有把错误打印出来，开debug模式试试

别人的网站，前端不能看后端的debug吧。

YuanFang0w0

话痨司机啊 发表于 2022-5-28 15:56
问题简单分析：第一500错误可能是服务器故意发送给客户端的（碰到过这样的包，包的代码500，内涵混淆JS验证 ...

我感觉就是服务器故意返回的，因为我666页可以，667就不行了。。有点太离谱了。或者是服务器本身代码逻辑，但是这个站应该还是挺大的吧，不至于后端有这个问题。就是artstation.com

YuanFang0w0

a147888123 发表于 2022-5-28 16:29
加代{过}{滤}理IP，或者减少频率，你到返回500得时候打印下返回得数据，就是让你输入验证码了

国外网站，我用的vpn，换节点不行，电脑连接手机热点开关飞行模式换ip也不行。

话痨司机啊

YuanFang0w0 发表于 2022-5-28 18:36
我感觉就是服务器故意返回的，因为我666页可以，667就不行了。。有点太离谱了。或者是服务器本身代码逻辑 ...

离了个大谱，这网站我都打不开~