【求助】java 或者 python如何获取一个网站的所有请求

xsq

【求助】java 或者 python 如何获取一个网站的所有请求


比如我现在访问的url：baidu.com

我需要得到 F12 的network 的  全部请求



有那位大佬知道     java 该如何 获取去    或者用什么 框架也行

kof21411

python3+selenium

[Python] 纯文本查看 复制代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

d = DesiredCapabilities.CHROME
chrome_options = Options()
#使用无头浏览器
chrome_options.add_argument('--headless')
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
#浏览器启动默认最大化
chrome_options.add_argument("--start-maximized");
#该处替换自己的chrome驱动地址
browser = webdriver.Chrome("D://googleDever//chromedriver.exe",chrome_options=chrome_options,desired_capabilities=d)
browser.set_page_load_timeout(150)
browser.get("https://www.xxx.com")
#静态资源链接存储集合
urls = []
#获取静态资源有效链接
for log in browser.get_log('performance'):
	 if 'message' not in log:
			continue
	 log_entry = json.loads(log['message'])
	 try:
		#该处过滤了data:开头的base64编码引用和document页面链接
			if "data:" not in log_entry['message']['params']['request']['url'] and 'Document' not in  log_entry['message']['params']['type']:
				urls.append(log_entry['message']['params']['request']['url'])
	  except Exception as e:
			pass
 print(urls)

xsq

kof21411 发表于 2020-9-8 12:47
python3+selenium
[mw_shl_code=python,true]from selenium import webdriver
from selenium.webdriver.c ...

有java 代码  

kof21411

xsq 发表于 2020-9-8 12:55
有java 代码

不会java

pzx521521

目前想到的只有selenium,
html 分析的话不好分析, 特别是post/get 这种各种框架都有的, js 分析不好分析, 只能跑一遍试试
java 里面 selenium 也是可以用的 对着改一下代码就好了

xsq

kof21411 发表于 2020-9-8 12:47
python3+selenium
[mw_shl_code=python,true]from selenium import webdriver
from selenium.webdriver.c ...

  你好，麻烦帮忙看看是什么问题 导致的 ，感觉有问题

xsq

kof21411 发表于 2020-9-8 12:47
python3+selenium
[mw_shl_code=python,true]from selenium import webdriver
from selenium.webdriver.c ...

这是我 换了    谷歌 驱动版本 报的错，   知道是什么问题导致的 ？

GoodLand

selenium+HAR我记得可以。