「Scrapy——css选择器」使用时遇到问题

thepoy

如图所示，下面这行代码获得结果为空，不知道问题出在哪里。

[Python] 纯文本查看 复制代码

max_page = response.css('div#page-container::attr(data-pageMax)').extract()

ixsec

把地址给出来？

feiyu361

兄弟,你为什么不用xpath?

ixsec

xpath 语法

[Python] 纯文本查看 复制代码

'//*[@id="page-container"]/@data-pagemax'

thepoy

feiyu361 发表于 2019-8-2 13:00
兄弟,你为什么不用xpath?

css速度快啊，语法也更简洁一点

thepoy

ixsec 发表于 2019-8-2 12:51
把地址给出来？

起点中文网的月票排行
https://www.qidian.com/rank/yuepiao?chn=21&page=1

ixsec

thepoy 发表于 2019-8-2 14:46
起点中文网的月票排行
https://www.qidian.com/rank/yuepiao?chn=21&page=1

可以获取到

[Python] 纯文本查看 复制代码

response.css('#page-container::attr(data-pagemax)').extract()

这个获取就是5

ixsec

你的翻页有问题，好好看看scrapy 的官方文档

ixsec

看看 结果~

真实有效

thepoy

ixsec 发表于 2019-8-2 15:34
可以获取到

[mw_shl_code=python,true]response.css('#page-container::attr(data-pagemax)').extract ...

我这里加上标签'div'后就获取不到了，不加才能获取到。