scrapy 用pandas怎样把数据写入excel

double07 · 发表于 2021-4-4 12:55

本帖最后由 double07 于 2021-4-4 12:56 编辑

scrapy抓取数据为字典类型：

scrapy解析代码

在pipelines中怎样用pandas把数据输出到excel?

额微粒波地 · 发表于 2021-4-4 12:58

scrapy -o 文件名.csv 好像是可以直接导出结果

double07 · 发表于 2021-4-4 13:14

额微粒波地发表于 2021-4-4 12:58
scrapy -o 文件名.csv 好像是可以直接导出结果

可以的，但想用pandas实现

咸鱼灭 · 发表于 2021-4-4 19:52

可以用defaultdict字典来实现

double07 · 发表于 2021-4-4 22:00

咸鱼灭发表于 2021-4-4 19:52
可以用defaultdict字典来实现

可以具体点？

gentlespider · 发表于 2021-4-7 16:19

没用过他的现成组件。常规思路就是在pipeline中把数据提取到列表中然后写入。

帐号		自动登录	找回密码
密码			注册[Register]

[求助] scrapy 用pandas怎样把数据写入excel