根据url批量获取网站标题v1.0

sgbyg · 发表于 2023-8-27 15:58

本帖最后由 sgbyg 于 2023-8-27 16:37 编辑

下载 ---> https://wwng.lanzoub.com/inGqx16m2b7a 解压密码：52pj
并不是万能的测试过程中发现有很多网站不能直接获取

@q3520520

wangguang · 发表于 2023-8-27 16:13

左上角居然有gpt图标

RainPPR · 发表于 2023-8-27 16:21

源码？
对于微信公众平台这种的网站无法提取（如hxxps://mp.weixin.qq.com/s/U-obTzutvFndahOTwouhRg）

sense · 发表于 2023-8-27 16:40

RainPPR 发表于 2023-8-27 16:21
源码？
对于微信公众平台这种的网站无法提取（如hxxps://mp.weixin.qq.com/s/U-obTzutvFndahOTwouhRg）

没记错的话，应该需要特定的ua。

Study0588 · 发表于 2023-8-27 16:47

下载使用，谢谢分享

天轩科技 · 发表于 2023-8-27 16:53

RainPPR 发表于 2023-8-27 16:21
源码？
对于微信公众平台这种的网站无法提取（如hxxps://mp.weixin.qq.com/s/U-obTzutvFndahOTwouhRg）

可以加个判断。当url里面是mp.weixin.qq.com 。那么Xpath 用 ('//*[@id="page-content"]/div[1]/div/h1/text()')[0]

oneai · 发表于 2023-8-29 14:24

提示: 作者被禁止或删除内容自动屏蔽

天轩科技 · 发表于 2023-8-29 16:17

oneai 发表于 2023-8-29 14:24
源码中有：
我觉得直接解析og:title靠谱，很多wordpress的网站都是类似的，没了但是有ogtitle

也是可以的哈

PLA81 · 发表于 2023-8-29 22:48

RainPPR 发表于 2023-8-27 16:21
源码？
对于微信公众平台这种的网站无法提取（如hxxps://mp.weixin.qq.com/s/U-obTzutvFndahOTwouhRg）

很难吗？？？

帐号		自动登录	找回密码
密码			注册[Register]

oneai oneai 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	oneai 发表于 2023-8-29 14:24 提示: 作者被禁止或删除内容自动屏蔽

	回复支持举报

[学习记录] 根据url批量获取网站标题v1.0