cqwcns 发表于 2022-8-29 17:50

uiBot, 通过数据抓取,实现翻页抓取图片的问题

有玩过uiBot的大佬吗?有个问题研究了一天都没有解决。
是这样的,我的需求是通过数据抓取,实现翻页抓取图片。


现在以抓取uiBot论坛帖子列表的头像为例(https://forum.uibot.com.cn/forum-6.htm)。


选取同级的IMG元素:



抓取数据只能现在文字:



只能获得空白数:



当然运行输出也是空白的:



我的需求是通过翻页抓取,获得这些头像的链接,并进行下载。应该怎么操作,请各位大佬指教,感谢。

PncB2INYyoKw0l9 发表于 2022-8-29 18:16

思路大概是这样:
for page in range(1,10) :爬取页数
          url=f'https://forum.uibot.com.cn/index-{page}.htm'
         img_url=https://forum.uibot.com.cn/forum-6.htm+'/'+img_url
         

PncB2INYyoKw0l9 发表于 2022-8-29 18:18

错了错了,最后一行应该是
         img_url=https://forum.uibot.com.cn+'/'+img_url

grekevin 发表于 2022-8-29 19:12

楼主用的什么可视化爬虫软件?

外酥内嫩 发表于 2022-8-29 19:45

楼主用的是RPA吗

top7777 发表于 2022-8-30 08:36

是不是要先抓cookie或你的登录信息。

花木成畦手自栽 发表于 2022-8-30 08:57

UIBOT前几天刚巧试用过,使用UIBOT需要对html有一点了解。这个问题在于没有找到准确元素,实际上链接是上一层元素,需要设置元数据。具体操作方法记不清了,叁考他们论坛里的中级考试技巧贴子吧。

cqwcns 发表于 2022-8-30 10:59

已解决。


方法是在元数据定义中,将"props":["text"]改为"props":["src"]即可。

cqwcns 发表于 2022-8-30 11:01

用的软件是uiBot。
页: [1]
查看完整版本: uiBot, 通过数据抓取,实现翻页抓取图片的问题