吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 2918|回复: 8
收起左侧

[Python 转载] python爬取斗破小说网

[复制链接]
PJ11210049 发表于 2020-7-24 10:44
最近看动漫,斗破苍穹,有点痴迷,动漫看完了,开始搜小说看,一般得小说网站都有广告啥的,我找了个还不错得网站。(斗破小说才看完,下面已大主宰为例)
脚本可实现:在pycharm里去一章一章读取,在控制台输出(方便你摸鱼,别人以为你在调试代码

需要改的参数

需要改的参数

对应上图信息

对应上图信息

初次运行:输入页数
QQ截图20200724102710.png
显示如下:程序会一直运行,输入u 上一章,n/其他字母,下一章
QQ截图20200724103628.png
QQ截图20200724103959.png
[Python] 纯文本查看 复制代码
# -*- coding:utf-8 -*-
from urllib.parse import urljoin

import requests
from scrapy import Selector


def get_info(url):
    response = requests.get(url)
    response.encoding = response.apparent_encoding
    content = Selector(text=response.text).css('#content').get()
    upage = Selector(text=response.text).xpath('//*[text()="上一章"]/@href').extract_first()
    nextpage = Selector(text=response.text).xpath('//*[text()="下一章"]/@href').extract_first()
    print(content)
    return upage, nextpage


def get_page(url):
    u, n = get_info(url)
    u = urljoin(url, u)
    n = urljoin(url, n)
    print(f'本章:{url.split("/")[-1].split(".")[0]}')
    # print(f'上一章:{u},下一章:{n}')
    while True:
        url = input('输入u/n:')
        if url == 'u':
            url = u
        else:
            url = n
        get_page(url)


if __name__ == '__main__':
    page = input('输入页数:')
    url = f'https://www.doupobook.com/dazhuzai/{page}.html'
    get_page(url)

免费评分

参与人数 1热心值 +1 收起 理由
楠宝 + 1 热心回复!

查看全部评分

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

fanvalen 发表于 2020-7-24 12:36
不错的练习
能分离文字就最好
再加个写文件吧
with open(“\xiaoshuo.txt”,"w",encoding="utf-8")as f:
    f.white(n)
    f.close()

我还有另类下载方式
火车头下面是下载模块
https://fanvalen.lanzoui.com/ij0HBexnrxa

ll.jpg
nr.jpg
zs.jpg
 楼主| PJ11210049 发表于 2020-7-24 14:08
fanvalen 发表于 2020-7-24 12:36
不错的练习
能分离文字就最好
再加个写文件吧

这个很棒,厉害
水煮花生 发表于 2020-7-24 15:20
hby050701 发表于 2020-8-10 11:57
不错的东西,顶一下
starsw001 发表于 2020-8-10 16:45
fanvalen 发表于 2020-7-24 12:36
不错的练习
能分离文字就最好
再加个写文件吧

问下,你这个火车头软件是破解版的吗?
fanvalen 发表于 2020-8-10 21:18
starsw001 发表于 2020-8-10 16:45
问下,你这个火车头软件是破解版的吗?

官方免费版
zx2000 发表于 2020-8-10 22:18
fanvalen 发表于 2020-7-24 12:36
不错的练习
能分离文字就最好
再加个写文件吧

挖槽这个工具厉害了
天不黑人不归 发表于 2020-8-10 22:26
fanvalen 发表于 2020-7-24 12:36
不错的练习
能分离文字就最好
再加个写文件吧

这样才完整,膜拜大神
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-26 01:45

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表