学习爬虫第3天，尝试爬取亚运会奖牌榜，各位提提意见

ZX0228

学习爬虫第三天，尝试爬取亚运会奖牌榜，但是合计有点问题，有没有大佬指点指点

[Python] 纯文本查看 复制代码

import requests
from bs4 import BeautifulSoup

url = 'https://tiyu.baidu.com/major/home/%E6%9D%AD%E5%B7%9E%E4%BA%9A%E8%BF%90%E4%BC%9A/tab/%E5%A5%96%E7%89%8C%E6%A6%9C/from/pc'

response = requests.get(url)
html_content = response.text
soup = BeautifulSoup(html_content, "html.parser")

pm = soup.select("span.title")
gj = soup.select("div.region-text.c-line-clamp1")
jp = soup.select("div.medal-num[style='color:#D59F36;']")
yp = soup.select("div.medal-num[style='color:#7F7F7F;']")
tp = soup.select("div.medal-num[style='color:#FB7F32;']")
hj = soup.select("div.total-num")

data_list = []

for i in range(len(pm)):
    data = {
        "排名": pm[i].get_text(),
        "国家": gj[i].get_text(),
        "金牌": jp[i].get_text(),
        "银牌": yp[i].get_text(),
        "铜牌": tp[i].get_text(),
        "合计": hj[i].get_text()
    }
    data_list.append(data)

for lists in data_list:
    print(lists)

ZX0228

合计错行了，

vista_info

可以再细致点F12看请求 https://tiyu.baidu.com/go/major/api/header?match=%E6%9D%AD%E5%B7%9E%E4%BA%9A%E8%BF%90%E4%BC%9A&tab=%E5%A5%96%E7%89%8C%E6%A6%9C&page=home&tab_type=single&cb=jsonp_1697100675066_31992

ZX0228

kai-memory 发表于 2023-10-12 16:53
可以再细致点F12看请求 https://tiyu.baidu.com/go/major/api/header?match=%E6%9D%AD%E5%B7%9E%E4%BA%9A%E ...

查找div.total-num标签中第一个就是合计，应该从第二条数据开始提取，才学了2  3他只是我没想明白怎么取

wanjiaoer

学习
学习

oncet

//*[@id="sfr-app"]/div/div[2]/div/div/div/main/section/div[1]/b-grouplist-sticky/div/div[3]/div/div/div[2]/div/div[2]/div[2]/a[1]/div/div[4]

hkhkhk

我想学习爬虫 建议从哪开始

小明无敌

hkhkhk 发表于 2023-10-12 21:35
我想学习爬虫 建议从哪开始

JavaScript开始