网站 › 『编程语言讨论求助区』 › 为什么取XPATH路径老是为空呢 复制路径也是为空(经常是有时取得到有时取不到的）

lihu5841314 发表于 2021-5-31 10:14

为什么取XPATH路径老是为空呢 复制路径也是为空(经常是有时取得到有时取不到的）

importre
importrequests
fromlxml importetree


url = "https://www.qidian.com/all"

headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
    }
sep1=requests.get(url=url,headers=headers).text
tree = etree.HTML(sep1)
detail_url ="https:"+tree.xpath('//div[@class="all-book-list"]//a/@href')
sep2 = requests.get(url=url,headers=headers).text
tree2 = etree.HTML(sep2)
name = tree2.xpath('//*[@id="j-catalogWrap"]/div/div/ul/li')
print(name)

M-Riley 发表于 2021-5-31 10:32

你这个url是什么鬼？填写你要爬取的网页链接就行了

lihu5841314 发表于 2021-5-31 10:43

M-Riley 发表于 2021-5-31 10:32
你这个url是什么鬼？填写你要爬取的网页链接就行了

起点的url啊

M-Riley 发表于 2021-5-31 10:47

lihu5841314 发表于 2021-5-31 10:43
起点的url啊

我的意思是说，你直接把url改为https://www.qidian.com/all就行了，其他的那些都是网页前端的结构代码

知心 发表于 2021-5-31 10:59

本帖最后由 知心 于 2021-5-31 11:12 编辑

//ul[@class="all-img-list cf"]/li/div/a/@href //图书地址

//ul[@class="cf"]/li/a/@href   //章节链接
//ul[@class="cf"]/li/a/text()//章节标题

这是代码中需要用到的xpath。

另外你第14行代码有问题，问题在url上，你检查一下

lihu5841314 发表于 2021-5-31 11:17

知心 发表于 2021-5-31 10:59
//ul[@class="all-img-list cf"]/li/div/a/@href //图书地址

//ul[@class="cf"]/li/a/@href   //章节链 ...

找打原因了    url 用的detail—url才对

可控核聚变 发表于 2021-5-31 14:33

xpath多麻烦呀! 一大堆 // @@ [ ]，css选择器直接 . # 搞定

侃遍天下无二人 发表于 2021-5-31 15:33

可控核聚变 发表于 2021-5-31 14:33
xpath多麻烦呀! 一大堆 // @@ [ ]，css选择器直接 . # 搞定

各有各的好处吧，要是有一些class名随机的，还得用xpath辅助定位

查看完整版本: 为什么取XPATH路径老是为空呢 复制路径也是为空(经常是有时取得到有时取不到的）