python写好的文件如何实现定时自动爬取网站信息
python写好的文件如何实现定时自动爬取网站信息大家好:
我是一个初学python的小白,想请教一个问题。
我是用python+scrapy写好程序之后,存储到mysql里面。
但是,每次需要在命令行里手动输入 "scrapy crawl xxx"才能运行 实现爬取功能。
不知道能否有什么办法让命令行自动运行"scrapy crawl xxx" ,实现自动的定时爬取数据。
比如每10分钟爬取一次。
谢谢! 1.购买云服务器,只需要运行一次,24小时即可爬取
2.最近github action 也是可以实现你所说的,可以搜索相关文章 定时任务啊,python定时任务很强大的 同3楼观点,弄个定时任务不就好了,或者加点检测时间决定是否爬取的代码,挂到服务器上面去 定时器,到了10分钟设置触发一次爬取方法(函数),这样不就OK了吗 云服务器+PY 不二选择 HOU任务计划 APScheduler定时任务框架 schedule模块。 在Linux上的crontab命令也可以。
页:
[1]
2