python写好的文件如何实现定时自动爬取网站信息

qifyiw · 发表于 2020-9-6 00:55

python写好的文件如何实现定时自动爬取网站信息

大家好：
我是一个初学python的小白，想请教一个问题。

我是用python+scrapy 写好程序之后，存储到mysql里面。
但是，每次需要在命令行里手动输入 "scrapy crawl xxx" 才能运行实现爬取功能。

不知道能否有什么办法让命令行自动运行"scrapy crawl xxx" ，实现自动的定时爬取数据。
比如每10分钟爬取一次。

谢谢！

SupKevin · 发表于 2020-9-6 09:27

1.购买云服务器，只需要运行一次，24小时即可爬取
2.最近github action 也是可以实现你所说的，可以搜索相关文章

Ealrang · 发表于 2020-9-6 09:31

定时任务啊，python定时任务很强大的

Anekys · 发表于 2020-9-6 09:49

同3楼观点,弄个定时任务不就好了,或者加点检测时间决定是否爬取的代码,挂到服务器上面去

主骑士 · 发表于 2020-9-6 09:56

定时器,到了10分钟设置触发一次爬取方法(函数)，这样不就OK了吗

就是那个秋 · 发表于 2020-9-6 10:16

云服务器+PY 不二选择

我是你老大 · 发表于 2020-9-6 10:19

HOU任务计划

plj529 · 发表于 2020-9-6 10:28

APScheduler定时任务框架

jidesheng6 · 发表于 2020-9-6 10:28

schedule模块。

jidesheng6 · 发表于 2020-9-6 10:29

在Linux上的crontab命令也可以。

帐号		自动登录	找回密码
密码			注册[Register]

[求助] python写好的文件如何实现定时自动爬取网站信息

免费评分