Python爬取龙虎榜

xixi2008

新手学习Python，Python爬取龙虎榜，终于编译通过了，发上来交流学习下，数据输出为两种格式，可以自己修改。

import requests
from bs4 import BeautifulSoup
import pandas as pd
# 定义目标URL
url = 'http://m.tetegu.com/longhubang/?src=topnav&r=0.36531248951690687'  # 替换为实际的龙虎榜数据页面
# 发送HTTP请求
response = requests.get(url)
response.encoding = 'utf-8'
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取数据
data = []
table = soup.find('table')  # 假设数据在表格中
if table:
    for row in table.find_all('tr'):
        cols = row.find_all('td')
        cols = [ele.text.strip() for ele in cols
        if cols:  # 过滤掉空行
            data.append(cols)
# 转换为DataFrame
if data:
    df = pd.DataFrame(data)
   
    # 打印列数
    print(f"列数: {df.shape[1}")
   
    # 根据实际情况调整列名
    df.columns = [f'Column{i+1}' for i in range(df.shape[1])]  # 动态生成列名
    # 保存为excel.xlsx文件
    df.to_excel('excel.xlsx', index=False)
    print('数据已成功保存到excel.xlsx文件中')
    # 保存为mart.dat文件
    df.to_csv('mart.dat', index=False, sep='\t')
    print('数据已成功保存到mart.dat文件中')
else:
    print('未找到数据')

苏紫方璇

代码插入方法可以参考置顶帖教程

IT大小白

[Python] 纯文本查看 复制代码

# 需要cmd安装库： pip install requests beautifulsoup4 pandas openpyxl -i https://mirror.baidu.com/pypi/simple
# 注意pandas库需要openpyxl或者xlsxwriter
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 定义目标URL
url = 'http://m.tetegu.com/longhubang/?src=topnav&r=0.36531248951690687'  # 替换为实际的龙虎榜数据页面
# 发送HTTP请求
response = requests.get(url)
response.encoding = 'utf-8'
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取数据
data = []
table = soup.find('table')  # 假设数据在表格中
if table:
    for row in table.find_all('tr'):
        cols = row.find_all('td')
        cols = [ele.text.strip() for ele in cols]
        if cols:  # 过滤掉空行
            data.append(cols)

# 转换为DataFrame
if data:
    df = pd.DataFrame(data)

    # 保存为excel.xlsx文件，不包含表头
    df.to_excel('excel.xlsx', index=False, header=False)
    print('数据已成功保存到excel.xlsx文件中，不包默认含表头')

    # 保存为mart.dat文件，不包含表头
    df.to_csv('mart.dat', index=False, sep='\t', header=False)
    print('数据已成功保存到mart.dat文件中，不包默认含表头')
else:
    print('未找到数据')

大番茄

可惜我程序茫，，不会用啊

aaa123321

先点个赞，插个眼，回头发财了来梭哈。。

tnancy2kk

太棒了，感谢分享！

Soar119

插个眼，成为大佬

Childe0426

复制过来，不行

xixi2008

没装完库是编译不过的，我也是走了很大弯路的。

gy001715

谢谢分享

earlc

这个有用，码克了