吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 774|回复: 1
收起左侧

[求助] Scrapy如何启动多个imagepipeline?

[复制链接]
coolllyy 发表于 2020-9-4 20:10
请教一下各位:可以同时改写多个imagepipeline吗?
比如imagepipeline1,imagepipeline2,imagepipeline3这个三个都继承scrapy自带的ImagesPipeline
1负责抓取封面图单独保存一个文件夹,2负责抓取作者头像图单独保存一个文件夹,3负责抓取文章内图片单独保存一个文件夹。
图片保存到本地,原图片链接要同时替换成本地图片链接存入数据库。
这样3种类型图片是在三个字段列表里的,但是setting里IMAGES_URLS_FIELD只能设置一个字段。这样要怎么实现呢?

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

蓝风 发表于 2020-9-5 09:47
不需要设置3个pipeline,可以在requests里面穿参数req= scrapy.Request(url=url,callback=self.parse)
req.meta['name']=u
yield req
def parse(self,response):
    item = ScrapySpiderItem()
    item['keyword'] = response.meta['keyword']
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-26 13:34

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表