暮而归 发表于 2019-8-5 23:52

想请教一个关于爬虫的问题

求助，我需要爬取一个网站，百万级的数据量，但是其中有很多重复的图片，这大大影响了爬取的速度，想请教下各位大佬有没有办法解决重复爬取相同图片的办法，图片都是先下载再把url存入数据库的。
我之前是考虑先把图片的url爬下来，后期再统一进行下载，但是这样的话检索数据库又需要大量的时间，想问问有没有大佬能帮忙解决一下的。
页: [1]
查看完整版本: 想请教一个关于爬虫的问题


免责声明：
吾爱破解所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:Service@52pojie.cn