大佬们，用requests发生一个神奇的事情，这种情况该怎么办？

qianaonan · 发表于 2023-3-14 10:30

本帖最后由 qianaonan 于 2023-3-23 10:05 编辑

就是我用pycharm包括python直接运行，requests有个setconfig就是报状态码500，但是用fiddler全局抓包，它又连上了状态码200，搞得我很头大，因为我要爬的网页在这里是个必须的步骤。

这个是链接的header
微信截图_20230314102748.png

这是webview
这是网址：http://portal.yuntaiblt.com/portal/home/setConfig.htm

上图是登录步骤，有个get跳转更换了jsessionid

Dmark · 发表于 2023-3-14 10:33

现在网页基本都会写反爬虫机制，你可以从这反面去思考下，按道理，你这样是可以爬到数据的，但是状态码不对劲。提供一个思路给楼主。

wangliuliu212 · 发表于 2023-3-14 10:43

建议查看一下防火墙，或者看下有没有连加速器

那一年的白洁啊 · 发表于 2023-3-14 10:47

能抓python流量的话，就抓一下，然后和fiddler 200的对比下看看。

高维可破 · 发表于 2023-3-14 10:54

本帖最后由高维可破于 2023-3-14 11:03 编辑

和代{过}{滤}理没关系的，问题在你请求中的Cookie值
如果Cookie设置正确才能正常返回 200
否则返回500，里边包含有报错堆栈，NPE错误，应该是你的JSESSIONID数据不对导致的

这种错误准且来说是服务器代码欠考虑导致的，不是客户端的锅

Akihi6 · 发表于 2023-3-14 10:59

感觉像是全局代{过}{滤}理问题

QingTianGG · 发表于 2023-3-14 11:05

你提交的参数没带全，一般是cookie

wapj180010 · 发表于 2023-3-14 11:29

放下代码呗

surepj · 发表于 2023-3-14 12:23

好像打开fiddler抓包，Python的网络连接都会出现问题

qianaonan · 发表于 2023-3-14 14:32

wangliuliu212 发表于 2023-3-14 10:43
建议查看一下防火墙，或者看下有没有连加速器

这个倒没有连加速器

帐号		自动登录	找回密码
密码			注册[Register]

[已解决] 大佬们，用requests发生一个神奇的事情，这种情况该怎么办？