杰克琼斯 发表于 2024-5-26 13:07

火车头采集器链接采集问题

大佬们,原网址https://www.djszy.cn/archives/20994
抓到网站的跳转链接,https://www.djszy.cn/wp-content/ ... =20994&key=1&index=
这个链接会自动跳转到百度网盘,如何利用这个跳转链接,提取到百度网盘的链接,然后填入文章内容

miaoyu666 发表于 2024-5-26 15:51

获取http信息啊

杰克琼斯 发表于 2024-5-26 16:08

miaoyu666 发表于 2024-5-26 15:51
获取http信息啊

具体如何操作,大佬可以细说下吗

miaoyu666 发表于 2024-5-26 16:14

从Http头信息中获取数据
http://faq.locoy.com/q-701.html

小鱼软件 发表于 2024-5-26 16:14

点击下载后应该会有一个post请求或者get请求 返回网盘地址,读取即可

杰克琼斯 发表于 2024-5-27 07:49

小鱼软件 发表于 2024-5-26 16:14
点击下载后应该会有一个post请求或者get请求 返回网盘地址,读取即可

不会返回网址,因为这个网站要http请求认证,抓取不到认证信息

杰克琼斯 发表于 2024-5-27 09:48

HTTP/1.1 302 Found
Server: nginx
Date: Sun, 26 May 2024 13:02:02 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Location: https://pan.baidu.com/share/init?surl=lPhqvuvB4e1tgMkHEUWiBg&pwd=r7pf
Strict-Transport-Security: max-age=31536000

0

抓包能抓到百度网盘

小鱼软件 发表于 2024-5-28 18:37

从返回头信息获取即可
页: [1]
查看完整版本: 火车头采集器链接采集问题