python抓包求解

佐木

[Python] 纯文本查看 复制代码

#coding=utf-8
import requests
from urllib import parse
from requests.auth import  HTTPBasicAuth
url='https://www.steampy.com/xboot/steamUser/getSalesByAmount?pageNumber=1&pageSize=20&sort=discount&order=asc&startDate=&endDate=&txAmount=61'
a = '佐木'
a=a.encode("utf-8").decode("latin1")
r=requests.get(url, auth=(a, '12345678'))
#r=requests.get(url, auth=HTTPBasicAuth('%E4%BD%90%E6%9C%A', '12345678'))
print(r.text)

需要访问的地址如上，但是不加用户名和密码的话会提示401，加上还是提示401，正常访问这个网页，在已经登陆账号的情况下访问还是会提示401，小白实在不知道该怎么解决这个问题了，求大神们给个解答啊

咸鱼灭

佐木 发表于 2021-2-4 23:38
通过https://www.steampy.com/pyMarket/pyMarket
这个页面
点击折扣排序抓取都xhr

你请求头要加这个参数
accessToken: 1c6d312f916146958058597ca1835786

梦HACK

1、UA伪装试试
2、网页是动态加载，捕获ajax分析URL试一试

佐木

梦HACK 发表于 2021-2-4 22:49
1、UA伪装试试
2、网页是动态加载，捕获ajax分析URL试一试

ua伪装和cookies设置后都没用
上面分析都就是动态抓取都网址。。。

梦HACK

佐木 发表于 2021-2-4 23:06
ua伪装和cookies设置后都没用
上面分析都就是动态抓取都网址。。。

使用selenium+chromedriver试一试

咸鱼灭

你这网址是抓哪的

佐木

咸鱼灭 发表于 2021-2-4 23:12
你这网址是抓哪的

通过https://www.steampy.com/pyMarket/pyMarket
这个页面
点击折扣排序抓取都xhr

remenbo

只要你这两个参数正确 即可返回 错了就没有

[Asm] 纯文本查看 复制代码

Accept: application/json, text/plain, */*
accessToken:你的

咸鱼灭

[Python] 纯文本查看 复制代码

import requests

url = 'https://www.steampy.com/xboot/steamUser/getSalesByAmount?pageNumber=1&pageSize=20&sort=createTime&order=desc&startDate=&endDate=&txAmount=298'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) '
                         'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
           'Cookie': '换成你的cookie',
           'accessToken': '1c6d312f916146958058597ca1835786'
           }

re = requests.get(url, headers=headers)
print(re.json())

请求头最后那个参数是必须的，不然会返回你没登入。我这里只是其中一页的参数值，如果要爬其他页应该也要抓包分析它的生成规则

佐木

咸鱼灭 发表于 2021-2-4 23:47
你请求头要加这个参数
accessToken: 1c6d312f916146958058597ca1835786

谢谢大佬，确实头部只需要加一个accessToken即可，别都什么都不需要