python妹子图爬虫过验证防封ip[已失效]
本帖最后由 riwfhiu 于 2022-3-4 03:45 编辑---------------2022-3-4----------------------------------
好久之前的帖子了,官方早就修改了,已失效,原理是安卓模拟器app抓包,requests库发送请求,估计官方早就封掉接口了。
坟帖勿回
-------------------------------------------------------------
最近发现PC端看久了会有一个播放视频的验证,然尔他们的程序员又不设置哪个视频,根本过不去好吗全是模糊一片(我还一度以为是我广告插件拦截了,害~
而且手机端app广告影响体验,关键是要这么多权限干啥子,我怕隐私没了。
查了下论坛,以前的代码都会被反爬虫了,效果不怎么好,脑子里第一个想到用selenium?还是算了吧,那效率太慢了,而且一样没法防验证。
老前辈说过,解决不了问题,就把造成问题的源头给解决了
废话不多说,直接来
70行代码,合适新手学习python爬虫,还有注释,够友好了吧
只使用requests库,(加入urllib3纯粹是为了减少控制台输出Warning的问题,删除掉也无妨)
功能:
1.过防爬虫验证(原理模拟app下载,被封概率少)
2.可调速度,tsleep=0.8,即是0.8秒下载一张(不建议速度太快,别把别人服务器搞坏了)
3.按指定月份下载,自己修改,一下载就是一个月的量,够用了吧,不够的自己加个for循环{:301_997:}
4.下载路径可设置,自己打开代码修改
为了防止被别人恶意利用以及方法失效太快,还是我还是用上传附件的形式了{:301_986:}
新人求个热心就行,才有动力更新更多好玩的东西
=================================我是分隔线===============================================
09/24:我随便写写发个帖子没想到大家这么热情,考虑到图片不雅,影响大家学习的注意力了,我就不放了,还有小孩子不要看这些,好好学习
另外大家学习python一定要加强身体煅练呀(狗头)
一些小白连怎么打开python都不会,我就简单说一下吧
1.到官网安装python,安装最新的就行:https://www.python.org/
2.安装后再安装依赖库requests:打开cmd输入:pip3 install requests
3.打开python自带的编辑器打开代码按F5运行即可,需要修改年月日期的拉到代码最后修改即可,不想看控制台输出的,注释掉print语句
另外发源码的目的为了激起大家学习的热情,可以把学到的初级for循环,如何调用函数什么的,自己修改一下,
简单实现一下一运行就下载一整年的(真的有手就行,完成之后你会非常有成就感的)
小tips:年月份都是字符串形的,月份必须是2位的字符的,0不能省。
数字转字符串用str(),小于10的数字转两位字符串的,代码上面已经有例子我就不写了。 我爬了一百多G的图片了,后来发现没用,现在失去乐趣了。。。
风冯讽凤 发表于 2020-9-19 20:41
不会用啊,大神能打包一下么
百度安装python
再打开cmd输入:
pip3 install requests
然后用python自带的编辑器打开都可以,点击运行就好了,至于修改年月日期什么的,直接接到代码最后几行修改即可。
我发源码的目标是为了给新人学习爬虫,不是单纯发软件的,那样就没有意义了 z82190716 发表于 2020-10-7 10:24
层
获取url:失败!,跳出循环进入下一层
获取url:失败!,跳出循环进入下一层
不是,我只是用穷举法访问而已,失败了不用管,它下载完会自动停的,会有提示语的,如果你不想看到那么多输出,可以#注释掉print语句,不影响结果 支持原创! 多谢楼主分享
支持原创! 多谢大神,最近正好想学爬虫。 多谢大神:lol
多谢大神 可以的支持作者! 大兵马元帅 发表于 2020-9-19 20:07
我爬了一百多G的图片了,后来发现没用,现在失去乐趣了。。。
{:1_921:}{:1_921:}{:1_921:}
35万个文件一秒看一张,除了吃饭睡觉,其它啥也不干,翻一遍估计得一个星期吧,佩服老哥.