qifyiw 发表于 2020-9-6 00:55

python写好的文件如何实现定时自动爬取网站信息

python写好的文件如何实现定时自动爬取网站信息

大家好:
我是一个初学python的小白,想请教一个问题。

我是用python+scrapy写好程序之后,存储到mysql里面。
但是,每次需要在命令行里手动输入 "scrapy crawl xxx"才能运行 实现爬取功能。

不知道能否有什么办法让命令行自动运行"scrapy crawl xxx" ,实现自动的定时爬取数据。
比如每10分钟爬取一次。

谢谢!

SupKevin 发表于 2020-9-6 09:27

1.购买云服务器,只需要运行一次,24小时即可爬取
2.最近github action 也是可以实现你所说的,可以搜索相关文章

Ealrang 发表于 2020-9-6 09:31

定时任务啊,python定时任务很强大的

Anekys 发表于 2020-9-6 09:49

同3楼观点,弄个定时任务不就好了,或者加点检测时间决定是否爬取的代码,挂到服务器上面去

主骑士 发表于 2020-9-6 09:56

定时器,到了10分钟设置触发一次爬取方法(函数),这样不就OK了吗

就是那个秋 发表于 2020-9-6 10:16

云服务器+PY 不二选择

我是你老大 发表于 2020-9-6 10:19

HOU任务计划

plj529 发表于 2020-9-6 10:28

APScheduler定时任务框架

jidesheng6 发表于 2020-9-6 10:28

schedule模块。

jidesheng6 发表于 2020-9-6 10:29

在Linux上的crontab命令也可以。
页: [1] 2
查看完整版本: python写好的文件如何实现定时自动爬取网站信息