老哥们，云函数能实现简单的增量爬虫吗

人云亦云yi · 发表于 2021-10-27 12:16

我想实现监控网站通知的更新，上一次爬取的结果无法存储在txt里。
无法进行对比两次的爬取结果。

云函数是腾讯的SCF。

洛枫 · 发表于 2021-10-27 12:53

提示: 作者被禁止或删除内容自动屏蔽

人云亦云yi · 发表于 2021-10-27 13:20

洛枫发表于 2021-10-27 12:53
免费版不是有流量限制吗

我是一小时只运行一次，不用考虑流量

平淡最真 · 发表于 2021-10-27 13:47

存在变量里，一直循环不结束就不会丢

人云亦云yi · 发表于 2021-10-27 13:55

平淡最真发表于 2021-10-27 13:47
存在变量里，一直循环不结束就不会丢

免费运行时常超过88小时会收费啊

anandyuan · 发表于 2021-10-27 14:54

云函数只能读取不能写入，建议使用其他方式进行数据存储，如网络剪贴板

Jack2002 · 发表于 2021-10-27 15:22

在某个博客发一篇博文，要存数据时以编辑的方式post要存储的数据，小伙子脑子不够灵活啊！

人云亦云yi · 发表于 2021-10-27 17:11

Jack2002 发表于 2021-10-27 15:22
在某个博客发一篇博文，要存数据时以编辑的方式post要存储的数据，小伙子脑子不够灵活啊！

哈哈哈，谢谢

人云亦云yi · 发表于 2021-10-27 17:13

anandyuan 发表于 2021-10-27 14:54
云函数只能读取不能写入，建议使用其他方式进行数据存储，如网络剪贴板

这个看起来很轻量好用啊，谢谢

水墨青云 · 发表于 2022-1-7 15:53

腾讯云函数里的环境变量行不，可以更新变量，
更新环境变量：https://cloud.tencent.com/document/product/583/18580
读取环境变量：https://cloud.tencent.com/document/product/583/30228

通过下边这个可以直接生成更新的代码
https://console.cloud.tencent.com/api/explorer?Product=scf&Version=2018-04-16&Action=UpdateFunctionConfiguration

帐号		自动登录	找回密码
密码			注册[Register]

洛枫洛枫当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	洛枫发表于 2021-10-27 12:53 提示: 作者被禁止或删除内容自动屏蔽
洛枫洛枫当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	【吾爱破解论坛总版规】 - [让你充分了解吾爱破解论坛行为规则]
	回复支持举报

[求助] 老哥们，云函数能实现简单的增量爬虫吗

免费评分