状态码500的问题
还是之前的项目，解决了数据获取的问题，现在大量爬取测试以后发现了新的问题。问题描述:
需要解析一个分类，分类有11w个数据。
每页15个。最多是30个。不过这个不影响。
以15个为一页，请求到666页可以正常返回数据。然后请求第667页就会状态码500，返回的就是服务器错误。
以30个为一页，也是一样的，第333页正常，再多加一页就会出现跟上面一样的问题。
想了半天不知道什么问题。请大佬解决。
并且我不是通过request发请求的。
我是用浏览器控制台发送fetch请求的。
这种发请求方式以及为什么采用这个方式可以看我之前的帖子。
对于那个状态码500的我不知道什么原因，我也不可能浏览器真的去翻页666也吧。浏览器里面并不会显示第几页，只是随着滚动条往下自动加载而已。并没有明显的页码标识。只有在请求中才有。 问题简单分析：第一500错误可能是服务器故意发送给客户端的（碰到过这样的包，包的代码500，内涵混淆JS验证，通过了才会继续获取信息），第二，服务器本身代码逻辑错误，导致没开始执行逻辑报错，第三，我觉得比较少见，就是注意下参数有没有携带时间戳吧，如果有的话可能服务器也有验证规定时间内获取数据有个阈值，具体情况具体分析吧，怎么说你描述的问题还是有些笼统，如果可以共享一下爬取地址最好了。 500应该是后端没有把错误打印出来，开debug模式试试 加代{过}{滤}理IP，或者减少频率，你到返回500得时候打印下返回得数据，就是让你输入验证码了 话痨司机啊 发表于 2022-5-28 15:56
问题简单分析：第一500错误可能是服务器故意发送给客户端的（碰到过这样的包，包的代码500，内涵混淆JS验证 ...
地址是国外的一个网站，artstation.com，爬用户信息，时间戳没有。然后我这个用的vpn的。我感觉可能是服务器故意发送的，因为每页15个，第1页到第666页都可以，到667页就行了。换成每页30个刚好第333页可以，第334页就不行了。要不就是服务器逻辑问题。 a147888123 发表于 2022-5-28 16:29
加代{过}{滤}理IP，或者减少频率，你到返回500得时候打印下返回得数据，就是让你输入验证码了
本身就是外国网站，然后用的vpn，换节点也不行，然后网络连接手机热点，手机开关飞行模式也不行。 tanyh 发表于 2022-5-28 16:15
500应该是后端没有把错误打印出来，开debug模式试试
别人的网站，前端不能看后端的debug吧。 话痨司机啊 发表于 2022-5-28 15:56
问题简单分析：第一500错误可能是服务器故意发送给客户端的（碰到过这样的包，包的代码500，内涵混淆JS验证 ...
我感觉就是服务器故意返回的，因为我666页可以，667就不行了。。有点太离谱了。或者是服务器本身代码逻辑，但是这个站应该还是挺大的吧，不至于后端有这个问题。就是artstation.com a147888123 发表于 2022-5-28 16:29
加代{过}{滤}理IP，或者减少频率，你到返回500得时候打印下返回得数据，就是让你输入验证码了
国外网站，我用的vpn，换节点不行，电脑连接手机热点开关飞行模式换ip也不行。 YuanFang0w0 发表于 2022-5-28 18:36
我感觉就是服务器故意返回的，因为我666页可以，667就不行了。。有点太离谱了。或者是服务器本身代码逻辑 ...
离了个大谱，这网站我都打不开~
页:
[1]
2