爬虫网站数据库mysql可以用吗

as614001 · 发表于 2020-12-24 10:42

我打算用flask搭个爬虫站，初步估算了下一天大概有10万条记录，这个用mysql能抗得住吗？
一个月就得300万了啊，想想觉得好可怕，没做过这么大的。之前也只是做10万级别的。

chinaqin · 发表于 2020-12-24 10:50

你这个不算大吧小意思，可以数据库设计的时候优化一下

guoqc3 · 发表于 2020-12-24 10:52

300万是比较小的数据，按照我的实践经验，mysql在6000万左右的事务支持还是很好的。优化做的可以的话。大不了做一些数据的结转

深渊莫冥 · 发表于 2020-12-24 10:57

可以结合mysql的，中小型的mysql都是没问题的，超大型的可能不是很行，至少几亿条信息mysql没问题

tomcruise · 发表于 2020-12-24 11:00

Mysql应该能受得了

石淞元 · 发表于 2020-12-24 11:01

可以中间使用redis过度下，mysql没有问题。几个月后你就要考虑性能问题了

zdnyp · 发表于 2020-12-24 11:22

10万...mysql觉得伤害不大但侮辱性极强，优化一下，分表

huomavip · 发表于 2020-12-24 11:56

搞笑的把

as614001 · 发表于 2020-12-24 12:03

guoqc3 发表于 2020-12-24 10:52
300万是比较小的数据，按照我的实践经验，mysql在6000万左右的事务支持还是很好的。优化做的可以的话。大不 ...

嗯嗯 okok 只是初步预估是10W/天，乐观点可能是100W/天~

as614001 · 发表于 2020-12-24 12:04

zdnyp 发表于 2020-12-24 11:22
10万...mysql觉得伤害不大但侮辱性极强，优化一下，分表

乐观点可能是100W/天~

哈哈哈

帐号		自动登录	找回密码
密码			注册[Register]

[讨论] 爬虫网站数据库mysql可以用吗