网站 › 『编程语言讨论求助区』 › 老哥们，云函数能实现简单的增量爬虫吗

人云亦云yi 发表于 2021-10-27 12:16

老哥们，云函数能实现简单的增量爬虫吗

我想实现监控网站通知的更新，上一次爬取的结果无法存储在txt里。
无法进行对比两次的爬取结果。
{:301_971:}云函数是腾讯的SCF。

洛枫 发表于 2021-10-27 12:53

人云亦云yi 发表于 2021-10-27 13:20

洛枫 发表于 2021-10-27 12:53
免费版不是有流量限制吗

我是一小时只运行一次，不用考虑流量

平淡最真 发表于 2021-10-27 13:47

存在变量里，一直循环不结束就不会丢

人云亦云yi 发表于 2021-10-27 13:55

平淡最真 发表于 2021-10-27 13:47
存在变量里，一直循环不结束就不会丢

免费运行时常超过88小时会收费啊

anandyuan 发表于 2021-10-27 14:54

云函数只能读取不能写入，建议使用其他方式进行数据存储，如网络剪贴板
https://z3.ax1x.com/2021/10/27/5HCvVJ.md.png

Jack2002 发表于 2021-10-27 15:22

在某个博客发一篇博文，要存数据时以编辑的方式post要存储的数据，小伙子脑子不够灵活啊！

人云亦云yi 发表于 2021-10-27 17:11

Jack2002 发表于 2021-10-27 15:22
在某个博客发一篇博文，要存数据时以编辑的方式post要存储的数据，小伙子脑子不够灵活啊！

哈哈哈，谢谢

人云亦云yi 发表于 2021-10-27 17:13

anandyuan 发表于 2021-10-27 14:54
云函数只能读取不能写入，建议使用其他方式进行数据存储，如网络剪贴板

这个看起来很轻量好用啊，谢谢

水墨青云 发表于 2022-1-7 15:53

腾讯云函数里的环境变量行不，可以更新变量，
更新环境变量：https://cloud.tencent.com/document/product/583/18580
读取环境变量：https://cloud.tencent.com/document/product/583/30228

通过下边这个可以直接生成更新的代码
https://console.cloud.tencent.com/api/explorer?Product=scf&Version=2018-04-16&Action=UpdateFunctionConfiguration
https://i.bmp.ovh/imgs/2022/01/e712bf0fca5d2a1e.png

查看完整版本: 老哥们，云函数能实现简单的增量爬虫吗