网站 › 『编程语言讨论求助区』 › python爬虫设置代{过}{滤}理疑问

lgsp_Jim 发表于 2021-7-3 11:48

python爬虫设置代{过}{滤}理疑问

本帖最后由 lgsp_Jim 于 2021-7-3 15:32 编辑

使用requests设置代{过}{滤}理请求，但是却返回了本机IP和代{过}{滤}理IP，正常来说不是应该只返回代{过}{滤}理IP吗？是我哪里写错了吗？

GMCN 发表于 2021-7-3 15:06

是不是代{过}{滤}理是显式转发，他转发带上了你原ip的信息，你用加密的试试，就是那种高匿的

VIP88888888 发表于 2021-7-3 13:08

htmls = requests.get(url=url,headers=headers,proxies={'http': 'xxxxx.cn:8888'})

你试试http和https不要同时用

snwjas 发表于 2021-7-3 13:13

可能是requests版本问题，最近我开发使用了最新的库，设置proxies时不会生效，我把版本降到2.24.0才正常。你也可以看看是不是requests版本问题。

lgsp_Jim 发表于 2021-7-3 13:27

VIP88888888 发表于 2021-7-3 13:08
htmls = requests.get(url=url,headers=headers,proxies={'http': 'xxxxx.cn:8888'})

你试试http和https ...

单独用一样是返回两个IP

lgsp_Jim 发表于 2021-7-3 13:29

snwjas 发表于 2021-7-3 13:13
可能是requests版本问题，最近我开发使用了最新的库，设置proxies时不会生效，我把版本降到2.24.0才正常。 ...

我降到2.24.0一样也是返回两个IP

lgsp_Jim 发表于 2021-7-3 15:31

GMCN 发表于 2021-7-3 15:06
是不是代{过}{滤}理是显式转发，他转发带上了你原ip的信息，你用加密的试试，就是那种高匿的

谢大佬，好像是这个原因，我换https的代{过}{滤}理就只返回代{过}{滤}理的IP了。还有，什么是显示转发，书上和视频都没说过这些概念，都是说这放个代{过}{滤}理，直接就用了。

GMCN 发表于 2021-7-3 15:44

lgsp_Jim 发表于 2021-7-3 15:31
谢大佬，好像是这个原因，我换https的代{过}{滤}理就只返回代{过}{滤}理的IP了。还有，什么是显示转发， ...

概念我具体也忘记了，大概你可以理解为，他转发的时候，会带上refer（请求来源），refer记录你的ip。像是from xxx.xxx.xxx.xxx类似的。，然后没有加密的，就直接转发过去了，带上你的原始信息。加密的就提取请求数据，然后自己请求，不带你请求的任何数据，拿到结果，然后返回给你

lgsp_Jim 发表于 2021-7-3 16:12

GMCN 发表于 2021-7-3 15:44
概念我具体也忘记了，大概你可以理解为，他转发的时候，会带上refer（请求来源），refer记录你的ip。像是 ...

明白了，谢大佬。

查看完整版本: python爬虫设置代{过}{滤}理疑问