吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 1358|回复: 10
收起左侧

[已解决] 求助python大佬

[复制链接]
城南彼岸花复开 发表于 2020-12-29 18:05
本帖最后由 城南彼岸花复开 于 2021-2-3 14:55 编辑

python大佬进来看看
想用python抓取网页一页中某一项的数据(比如在bilibili排行榜中我想抓每个up主名字),但是使用下面代码后只能抓到每一页最后一个显示的数据(比如一页有30个数据,但是我只能抓到第三十个的数据),这该怎么办
个人感觉是使用循环啥的思路,但是又感觉不对,求大佬指教或者给个思路(url不方便给出就用xxx表示了)
(这里的代码没加for语句直接输出data就可以输出那一页所有的数据)

还想请问一下如果要做到自动翻页获取数据该用什么呢?就是比如bilibili排行榜啥都有下一页啥的,用什么能一次获取数据到底的那种,或者是可控制到哪一页就停止,这种该用什么函数等等来实现?
(如果没听懂的话还请大佬们说一下)


HCTRHA4U{XC1YWJDL[4T.png

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

 楼主| 城南彼岸花复开 发表于 2020-12-29 18:06
本帖最后由 城南彼岸花复开 于 2020-12-29 18:07 编辑

file:///C:/Users/ASUS/Desktop/HCTRHA4U%7BXC1YWJDL%25AD%5B4T.png

青山绿水meng 发表于 2020-12-29 18:07
你打开网页的第二页网址上会有page=x自己用for循环就行了替换page
Thending 发表于 2020-12-29 18:10
姓木名木木 发表于 2020-12-29 18:27
本帖最后由 姓木名木木 于 2020-12-29 18:33 编辑

第一个:(这里的代码没加for语句直接输出data就可以输出那一页所有的数据)

你的for循环有问题吧   result = { i } 这个每次循环都会重置,最后得到的result结果只有最后一个


第二个:一般网址后缀里都含有页码吧,自行for循环就行可以了
千城忆梦 发表于 2020-12-29 18:32
https://www.52pojie.cn/thread-1202155-1-1.html
看下这个代码 api里有page参数的
江火流萤 发表于 2020-12-29 18:34
result=   循环一个替换一个 当然只有最后一个了

[Python] 纯文本查看 复制代码
result=[]
for item in data:
    result.append(item.get_text())

其实你可以在循环里print一下结果可以更直观的感受到

免费评分

参与人数 2吾爱币 +3 热心值 +1 收起 理由
城南彼岸花复开 + 1 + 1 解决了,感谢大佬!
pnccm + 2 我很赞同! 这个才是正确的打开方式

查看全部评分

 楼主| 城南彼岸花复开 发表于 2020-12-29 18:47

其实是拿b站举个例子,爬的并不是b站
 楼主| 城南彼岸花复开 发表于 2020-12-29 18:50
千城忆梦 发表于 2020-12-29 18:32
https://www.52pojie.cn/thread-1202155-1-1.html
看下这个代码 api里有page参数的

感谢感谢!
as501226107 发表于 2020-12-29 18:53
发代码啊~
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2025-1-16 16:39

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表