官方bilibili Windows破解入门 Android逆向入门

【网络诊断修复工具】切换到窄版

ganzhuweixin

吾爱破解 - 52pojie.cn»网站 › 【软件安全】 › 『编程语言区』 › 『编程语言讨论求助区』 › python爬虫问题

12 / 2 页下一页

发新帖

查看: 1089|回复: 15

收起左侧

[求助] python爬虫问题

刘涛 发表于 2021-8-19 10:14

本帖最后由刘涛于 2021-8-19 10:26 编辑

各位大佬，大家好，今天做解析的时候遇到一个lxml解析不了的链接
链接:https://octopart.com/lm358m-on+semiconductor-84409488?r=sp
获取这个页面数据主要是最下面这一块数据
QQ图片20210819095605.png

QQ图片20210819095605.png

这一块数据，在网页上是能正常用xpath寻找到
QQ图片20210819095726.png

QQ图片20210819095726.png

但是在python中用lxml使用这个xpath解析不到如图：
QQ图片20210819100439.png

QQ图片20210819100439.png

然后查看网页源代码和自己保存下来的页面，
QQ图片20210819100933.png

QQ图片20210819100933.png

这一块数据确实是存在，但是用lxml解析不出来，我现在就只能从源码里用正则匹配出数据，所以想请问各位大佬，能帮忙看一下怎么样能用lxml解析，然后xpath匹配到吗？
第一次发贴，如有违规，老哥们可以立刻要求我改正

发帖前要善用【论坛搜索】功能，那里可能会有你要找的答案或者已经有人发布过相同内容了，请勿重复发帖。

回复

metaxman 发表于 2021-8-19 10:28

本帖最后由 metaxman 于 2021-8-19 10:30 编辑

楼主，你可以先利用chrome的xpath插件看能不能匹配到该条数据

【吾爱破解论坛总版规】 - [让你充分了解吾爱破解论坛行为规则]

回复支持

Wang5201314 发表于 2021-8-19 10:30

吾爱破解论坛没有任何官方QQ群，禁止留联系方式，禁止任何商业交易。

我这边的xpath 是 //*[@id="__next"]/div[3]/div/div[9]/ul/li

如何升级？如何获得积分？积分对应解释说明！

回复支持

楼主| 刘涛 发表于 2021-8-19 10:41

《站点帮助文档》有什么问题来这里看看吧，这里有你想知道的内容！

老哥们可以用自己的xpath去lxml上解析试一下，应该出来的结果都是0

呼吁大家发布原创作品添加吾爱破解论坛标识！

回复支持

楼主| 刘涛 发表于 2021-8-19 10:44

metaxman 发表于 2021-8-19 10:28
楼主，你可以先利用chrome的xpath插件看能不能匹配到该条数据

我这边用xpath插件可以匹配到数据，
QQ图片20210819104251.png

QQ图片20210819104251.png

如何快速判断一个文件是否为病毒！

回复支持

nanhai31 发表于 2021-8-19 10:56

先用xpath插件试试能不能出现数据，其次，中间的有些节点必须删除，否则没有数据，我出现好几次了，在xpath插件上有数据显示，但是就是不能获取数据，后来删掉其中的body就可以了，你可以试试

回复支持

楼主| 刘涛 发表于 2021-8-19 11:00

nanhai31 发表于 2021-8-19 10:56
先用xpath插件试试能不能出现数据，其次，中间的有些节点必须删除，否则没有数据，我出现好几次了，在xpath ...

是直接删除<body>标签，再去用lxml解析，是吗
还是要删除body标签里面的内容

回复支持

metaxman 发表于 2021-8-19 11:01

我用的BeautifulSoup解析，然后利用实例对象的select函数，可以获取到你说的内容

微信截图_20210819105931.png

回复支持

楼主| 刘涛 发表于 2021-8-19 11:06

metaxman 发表于 2021-8-19 11:01
我用的BeautifulSoup解析，然后利用实例对象的select函数，可以获取到你说的内容

如果写死了li的class属性是可以取到，但是他这个网站其他的链接，如果class名字是变化的话，就取不到数据了，

回复支持

metaxman 发表于 2021-8-19 12:11

刘涛发表于 2021-8-19 11:06
如果写死了li的class属性是可以取到，但是他这个网站其他的链接，如果class名字是变化的话，就取不到数据 ...

是的，这也是我现在需要考虑的

回复支持

12 / 2 页下一页

发新帖

免责声明：
吾爱破解所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:Service@52pojie.cn

返回列表

关注微信

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-25 22:34

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表