网站 › 『编程语言区』 › Python实现微博爬虫，仅供学习参考使用！！！

shao981109 发表于 2020-4-29 12:44

Python实现微博爬虫，仅供学习参考使用！！！

本帖最后由 shao981109 于 2020-4-29 14:00 编辑

转载一个老哥的微博爬虫，开箱即用，并且比较好用，个人毕设数据分析就是用的这个，转载的地址在最下面，侵，联，删，懂。
可爬取用户全部微博或某个时间段微博，包括图片和视频，具体教程如下，python编写的源码

功能：连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见输出部分。

使用说明：那老哥已经说得很清楚了，各位同学有兴趣可以点源网页地址进去，太多了，我就不在这里阐述了，就导入源码下载包的时候，建议大家用镜像，不然很慢，且一直不成功，镜像c盘搜索%AppData%目录，然后把我源码包的pip文件夹贴到目录下就ok，非常容易上手，数据分析比较友好的工具。代码效果图如下

代码进程图


结果图




源网页地址：https://github.com/dataabc/weiboSpider
蓝凑云源码地址：https://ww.lanzouj.com/ic2cs6f

shgdym 发表于 2020-4-29 13:52

本帖最后由 shgdym 于 2020-4-29 14:10 编辑

哈哈 你写的好全, 我也写了一个:https://github.com/shgdym/weiboSpider

陈先森、 发表于 2020-4-29 12:46

什么都看不到哦，楼主

shao981109 发表于 2020-4-29 12:47

陈先森、 发表于 2020-4-29 12:46
什么都看不到哦，楼主

等下，这只是个草稿，一不小心就发出来了

shao981109 发表于 2020-4-29 13:28

陈先森、 发表于 2020-4-29 12:46
什么都看不到哦，楼主

已经开放了

冰棍好烫啊 发表于 2020-4-29 13:35

BBoy蓝牙 发表于 2020-4-29 13:44

好，感谢分享！

https://cdn.jsdelivr.net/gh/hishis/forum-grandmaster-for-discuz/public/images/patch.gif

木丁哂 发表于 2020-4-29 13:55

最近正好在学爬虫的相关知识，看看能不能参考做个类似的

我叫zzyf 发表于 2020-7-7 14:02

可不可以把评论内容也爬下来？

注册3000 发表于 2020-7-15 12:10

完全不懂，望洋兴叹。。。。。。。。。。。。

查看完整版本: Python实现微博爬虫，仅供学习参考使用！！！