吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 11785|回复: 46
收起左侧

[Windows] 稻草人书屋小说站批量下载器+全站版(附Mac/Linux)

[复制链接]
龟仔龟龟 发表于 2020-2-25 14:06
本帖最后由 龟仔龟龟 于 2020-2-27 18:53 编辑

介绍

分享一个用python写的稻草人书屋小说站批量下载器,使用pyinstaller将代码打包成了windows和mac、Linux可直接运行的文件
源码地址:https://www.52pojie.cn/thread-1111047-1-1.html
下载链接:
单作者版(推荐)
windows: https://fly.myroad.fun/software/win/novel_spider.exe
Mac: https://fly.myroad.fun/software/mac/novel_spider
Linux: https://fly.myroad.fun/software/Linux/novel_spider.py

全站版(不推荐个人电脑,速度慢。推荐使用海外服务器运行)
windows: https://fly.myroad.fun/software/win/novel_spider_advanced.exe
Mac: https://fly.myroad.fun/software/mac/novel_spider_advanced.bin
Linux: https://fly.myroad.fun/software/Linux/novel_spider_advanced.py
使用方法:
确定好你要保存文件的根目录,比如
windows(两个杠):  F:\\books\\
mac/Linux(别少最后的杠):/Users/bob/book/
小说介绍界面(最后无杠): https://www.daocaorenshuwu.com/txt/10182.html
如果后续下载验证码源站更改了,你们自行获取,我不多说了
对于Mac用户请给予可执行权限,打开终端 chmod +x /path/to/novel_spider
Linux请用pip3 install requests beautifulsoup4,在 python3 运行即可

全站版可能的错误
AttributeError: 'NoneType' object has no attribute 'get'
重新执行程序即可,这个错误是由于网络原因,某个页面没有爬取成功或爬取不完整导致无法解析到那个元素,从而返回空报错
也有可能你的ip被限制了,触发了原站的某些机制,请过会儿再爬!

像我爬得太猛了,被封了
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',)
解决办法,自己找代--理解决
解压出现乱码问题
因为,压缩包是直接通过命名的方式用open()函数创建的,因为后面要保存二进制数据,不能指定编码,因此解压后得到的文件名可能会乱码。
对于MacOS请使用GUI版 The Unarchiver或者命令行版 Unar 进行解压,不会出现乱码。
对于Linux已经内置了Unar,直接 unar filename.zip即可

效果图

全站版

服务器全站版效果


单作者版效果


声明

软件仅限用于学习和研究目的,不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。

免费评分

参与人数 2吾爱币 +1 热心值 +2 收起 理由
钱老师 + 1 + 1 对于我们这种经常书荒的是福音啊,谢谢
封羽 + 1 热心回复!

查看全部评分

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

liangchengjiang 发表于 2020-2-25 15:14
我亲子测试了,下载了三十几个。还在继续下载;挺不错的小工具哦。
111.jpg
爱她的他 发表于 2020-2-25 14:38
fengxs420 发表于 2020-2-25 14:30
中,三克油,大哥帮我下一个吧,哈哈哈,私发我,https://www.biquga.com/36_36169/

要双斜杠!!!!
0WZ731[~%HYA(LEA_GBH[NB.png
圣皇 发表于 2020-2-25 14:11
封羽 发表于 2020-2-25 14:13
不知道咋回事,输入了地址以后,显示收集信息后就自动退了
 楼主| 龟仔龟龟 发表于 2020-2-25 14:16
fengxs420 发表于 2020-2-25 14:13
不知道咋回事,输入了地址以后,显示收集信息后就自动退了

可以啊,怎么不行
Snipaste_2020-02-25_14-16-03.png
 楼主| 龟仔龟龟 发表于 2020-2-25 14:17
fengxs420 发表于 2020-2-25 14:13
不知道咋回事,输入了地址以后,显示收集信息后就自动退了

我这边测试没有任何问题
 楼主| 龟仔龟龟 发表于 2020-2-25 14:17
圣皇 发表于 2020-2-25 14:11
用不了,闪退!!!

可以啊,你是不是小说的地址输入错误,小说介绍地址后面不需要\ 如图

封羽 发表于 2020-2-25 14:24
龟仔龟龟 发表于 2020-2-25 14:17
可以啊,你是不是小说的地址输入错误,小说介绍地址后面不需要\ 如图

我再试试
封羽 发表于 2020-2-25 14:26
龟仔龟龟 发表于 2020-2-25 14:17
可以啊,你是不是小说的地址输入错误,小说介绍地址后面不需要\ 如图

还是不行,我把链接的最后的\去掉了还是不行,你是在本机有配置环境吗,或者有什么dll文件
 楼主| 龟仔龟龟 发表于 2020-2-25 14:29
本帖最后由 龟仔龟龟 于 2020-2-25 14:30 编辑
fengxs420 发表于 2020-2-25 14:26
还是不行,我把链接的最后的\去掉了还是不行,你是在本机有配置环境吗,或者有什么dll文件

我是打成单文件的包的,按理不应该啊,我刚才换了台Mac设备也是可以的,我没多的window设备了,我再看看
封羽 发表于 2020-2-25 14:30
龟仔龟龟 发表于 2020-2-25 14:29
我是打成单文件的包的,按理不应该啊,我刚才换了台Mac设备也是可以的,我没多的window设备了,我再看看

中,三克油,大哥帮我下一个吧,哈哈哈,私发我,https://www.biquga.com/36_36169/
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-23 18:31

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表