fpcj 发表于 2020-4-7 19:41

python爬取veryins喜欢的博主

本帖最后由 fpcj 于 2020-12-15 20:21 编辑

偶尔发现了一个非常好的小站www.veryins.com
但是必须登陆后才能收藏博主,但是即使收藏后,也不能像刷ins一样所有博主合并显示,必须一个一个博主点进去看才行
所以打算自己写代码,把自己喜欢的博主所有帖子和图片链接爬下来存入数据库,自己写一个接口自己看
如果站长大人看见此帖子不开心,请联系我,我会立刻删除。
下面放代码,希望喜欢的朋友能给个免费的评分,也希望大神能够指正!!谢谢
      

由于全部代码太长,截取了一段,如果需要研究,后面放链接大家自行下载。
早上下载图片时发现,部分链接失效了,应该是获取的链接通过js加入了时间戳,时间太久所以失效,所以今天把之前保存的链接全部下载下来,等后期研究一下如何获取真实的永久链接(麻烦大神解释一下能否逆向js获取真实链接呢?或者抓包是否可以得到js解析前的真实链接呢?)
今天爬取了喜欢的博主,放到网盘里,喜欢的可以下载,但是不提供代下服务!!只是分享自己的学习经历。毕竟我也是初学python
爬取的博主包括以下几个

可以用www.veryins.com/+ins博主的文件名访问主页
比如:



博主图片用博主号+帖子链接命名,可以通过www.veryins.com/p/+帖子链接直接访问帖子。
喜欢的朋友麻烦给个免费的评分。非常感谢大神能够给出意见
2020.4.8
加入了调用idm下载图片视频的代码

不知道为什么论坛上传附件总是失败,所以代码和博主图片视频全部放到了网盘里。
链接: https://pan.baidu.com/s/1F6cY_2m8_4myasr8viVdqw 提取码: 55fd

fpcj 发表于 2020-4-8 14:45

唐寅飞飞 发表于 2020-4-7 20:35
楼主能不能把irisirisss90 这个号的爬一下打包给我啊

兄弟给你爬下来了,看帖子。记得给个免费的评分,谢了

呓语丶 发表于 2020-4-7 19:54

代码怎么样我不知道       但我瞎了{:301_971:}

yjn866y 发表于 2020-4-7 20:01

本帖最后由 yjn866y 于 2020-4-7 20:05 编辑

谢谢分享,冒似不用注册也能看吧

卢昕妤的博文

独抱浓愁 发表于 2020-4-7 20:07

本帖最后由 独抱浓愁 于 2020-4-7 20:09 编辑

我非常怀疑你是在给他打广告🐶🐶

fpcj 发表于 2020-4-7 20:08

呓语丶 发表于 2020-4-7 19:54
代码怎么样我不知道       但我瞎了

哈哈 不好意思~~

fpcj 发表于 2020-4-7 20:09

yjn866y 发表于 2020-4-7 20:01
谢谢分享,冒似不用注册也能看吧

卢昕妤的博文

对啊,但是不能收藏博主,必须每次上去搜

fpcj 发表于 2020-4-7 20:09

独抱浓愁 发表于 2020-4-7 20:07
我非常怀疑你是在给他打广告🐶🐶

哈哈,闲的我,我估计站长也不想看见我写个爬虫给他打广告,亏死他了

jydcb003 发表于 2020-4-7 20:25

网站不错

yjn866y 发表于 2020-4-7 20:31

楼主我运行了一下出现了下面的错误,请问下这个还要配置SQL吗
==
Traceback (most recent call last):
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\connections.py", line 581, in connect
    sock = socket.create_connection(
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\socket.py", line 808, in create_connection
    raise err
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\socket.py", line 796, in create_connection
    sock.connect(sa)
ConnectionRefusedError: 由于目标计算机积极拒绝,无法连接。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "F:\Python\小站www.veryins.com.py", line 297, in <module>
    db =pymysql.connect('localhost',user = 'root',passwd = 'toor',db = 'veryins')
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\__init__.py", line 94, in Connect
    return Connection(*args, **kwargs)
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\connections.py", line 325, in __init__
    self.connect()
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pymysql\connections.py", line 630, in connect
    raise exc
pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on 'localhost' ( 由于目标计算机积极拒绝,无法连接。)")

唐寅飞飞 发表于 2020-4-7 20:35

楼主能不能把irisirisss90 这个号的爬一下打包给我啊{:1_889:}
页: [1] 2
查看完整版本: python爬取veryins喜欢的博主