监控一个网页信息变化是怎么实现的？

SendingSonGY · 发表于 2024-11-23 11:33

想请问下各位大佬对一个网页实施监控是个什么样的逻辑。我个人目前的构思是：

先请求一次对应信息接口，并记录信息为旧信息。
然后在while true里面：一直请求接口，并且与旧信息对比，如果信息一致就忽略，如果信息不一致就说明有新信息了，推送到指定接口，然后再将该新信息记录为旧信息。

但是这个问题是与一直请求肯定会被封，所以想问问各位大佬写这种监控时是怎么写的。
跪谢大佬们。

likai123 · 发表于 2024-11-23 11:38

这个可以查看下其他的咨询下

wykk764 · 发表于 2024-11-23 11:44

两个方法，一是设置定时，在网站允许的请求时间间隔外发送，二是改ip假冒不同用户。

yhyclown · 发表于 2024-11-23 11:44

减少查询的频率，使用代{过}{滤}理

海是倒过来的天 · 发表于 2024-11-23 12:18

如果不是实时的，一般一两分钟轮训一次问题不大

许我浅笑而安 · 发表于 2024-11-23 13:03

轮询，看你需求，比如网页在10-14点间变化就轮询这个时间段的就行，设置定时任务，要是不知道时间就是24小时轮询，然后你说封ip的问题需要看网站设置的qos，比如限制同一个ip5秒钟只能请求一次，但是你的需求是1秒一次，那理论上需要5个ip代{过}{滤}理更换轮询

Pwaerm · 发表于 2024-11-23 13:09

除了轮询想不出什么好办法

Rain1111 · 发表于 2024-11-23 13:13

同求，有没有大佬

FructusGardeni · 发表于 2024-11-23 14:44

使用代{过}{滤}理轮询以及页面更新时间判断

lingniao · 发表于 2024-11-23 14:56

我做的逻辑是时间间隔和采集监控和时间一定范围内随机，给你发个我程序的列名看看

帐号		自动登录	找回密码
密码			注册[Register]

[讨论] 监控一个网页信息变化是怎么实现的？