python爬取veryins喜欢的博主
本帖最后由 fpcj 于 2020-12-15 20:21 编辑偶尔发现了一个非常好的小站www.veryins.com
但是必须登陆后才能收藏博主,但是即使收藏后,也不能像刷ins一样所有博主合并显示,必须一个一个博主点进去看才行
所以打算自己写代码,把自己喜欢的博主所有帖子和图片链接爬下来存入数据库,自己写一个接口自己看
如果站长大人看见此帖子不开心,请联系我,我会立刻删除。
下面放代码,希望喜欢的朋友能给个免费的评分,也希望大神能够指正!!谢谢
由于全部代码太长,截取了一段,如果需要研究,后面放链接大家自行下载。
早上下载图片时发现,部分链接失效了,应该是获取的链接通过js加入了时间戳,时间太久所以失效,所以今天把之前保存的链接全部下载下来,等后期研究一下如何获取真实的永久链接(麻烦大神解释一下能否逆向js获取真实链接呢?或者抓包是否可以得到js解析前的真实链接呢?)
今天爬取了喜欢的博主,放到网盘里,喜欢的可以下载,但是不提供代下服务!!只是分享自己的学习经历。毕竟我也是初学python
爬取的博主包括以下几个
可以用www.veryins.com/+ins博主的文件名访问主页
比如:
博主图片用博主号+帖子链接命名,可以通过www.veryins.com/p/+帖子链接直接访问帖子。
喜欢的朋友麻烦给个免费的评分。非常感谢大神能够给出意见
2020.4.8
加入了调用idm下载图片视频的代码
不知道为什么论坛上传附件总是失败,所以代码和博主图片视频全部放到了网盘里。
链接: https://pan.baidu.com/s/1F6cY_2m8_4myasr8viVdqw 提取码: 55fd 唐寅飞飞 发表于 2020-4-7 20:35
楼主能不能把irisirisss90 这个号的爬一下打包给我啊
兄弟给你爬下来了,看帖子。记得给个免费的评分,谢了 代码怎么样我不知道 但我瞎了{:301_971:} 本帖最后由 yjn866y 于 2020-4-7 20:05 编辑
谢谢分享,冒似不用注册也能看吧
卢昕妤的博文 本帖最后由 独抱浓愁 于 2020-4-7 20:09 编辑
我非常怀疑你是在给他打广告🐶🐶 呓语丶 发表于 2020-4-7 19:54
代码怎么样我不知道 但我瞎了
哈哈 不好意思~~ yjn866y 发表于 2020-4-7 20:01
谢谢分享,冒似不用注册也能看吧
卢昕妤的博文
对啊,但是不能收藏博主,必须每次上去搜 独抱浓愁 发表于 2020-4-7 20:07
我非常怀疑你是在给他打广告🐶🐶
哈哈,闲的我,我估计站长也不想看见我写个爬虫给他打广告,亏死他了 网站不错 楼主我运行了一下出现了下面的错误,请问下这个还要配置SQL吗
==
Traceback (most recent call last):
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\connections.py", line 581, in connect
sock = socket.create_connection(
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\socket.py", line 808, in create_connection
raise err
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\socket.py", line 796, in create_connection
sock.connect(sa)
ConnectionRefusedError: 由于目标计算机积极拒绝,无法连接。
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "F:\Python\小站www.veryins.com.py", line 297, in <module>
db =pymysql.connect('localhost',user = 'root',passwd = 'toor',db = 'veryins')
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\__init__.py", line 94, in Connect
return Connection(*args, **kwargs)
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\connections.py", line 325, in __init__
self.connect()
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\connections.py", line 630, in connect
raise exc
pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on 'localhost' ( 由于目标计算机积极拒绝,无法连接。)") 楼主能不能把irisirisss90 这个号的爬一下打包给我啊{:1_889:}
页:
[1]
2