coolllyy 发表于 2020-9-4 20:10

Scrapy如何启动多个imagepipeline?

请教一下各位：可以同时改写多个imagepipeline吗？
比如imagepipeline1,imagepipeline2,imagepipeline3这个三个都继承scrapy自带的ImagesPipeline
1负责抓取封面图单独保存一个文件夹，2负责抓取作者头像图单独保存一个文件夹，3负责抓取文章内图片单独保存一个文件夹。
图片保存到本地，原图片链接要同时替换成本地图片链接存入数据库。
这样3种类型图片是在三个字段列表里的，但是setting里IMAGES_URLS_FIELD只能设置一个字段。这样要怎么实现呢？

蓝风 发表于 2020-9-5 09:47

不需要设置3个pipeline，可以在requests里面穿参数req= scrapy.Request(url=url,callback=self.parse)
req.meta['name']=u
yield req
def parse(self,response):
    item = ScrapySpiderItem()
    item['keyword'] = response.meta['keyword']
页: [1]
查看完整版本: Scrapy如何启动多个imagepipeline?


免责声明：
吾爱破解所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:Service@52pojie.cn