本帖最后由 创造太阳 于 2020-3-5 01:06 编辑
我又来了，没有分手，我们的关系还是很好的！
我给女朋友发了20000句情话，她暂时不想听情话了！（详见：女朋友抱怨不会说情话，用python给她发了20000句！让她见识见识情话大全！https://www.52pojie.cn/thread-1113388-1-1.html(出处: 吾爱破解论坛)）
女朋友最近不找我下五子棋了！（详见：女朋友下棋比我厉害，还特别嚣张，不能忍。拿python敲个辅助，看她如何嚣张！https://www.52pojie.cn/thread-1116867-1-1.html（出处: 吾爱破解论坛)）
不过也没怼我，上次的表情包好像白存了，不过还是留着吧，万一派上用场了呢？（详见：为了防止女朋友怼我，我就先用python爬了3600个怼人表情包等她来战！https://www.52pojie.cn/thread-1118801-1-1.html(出处: 吾爱破解论坛)）
也不知道你们找到女朋友了没有，找到的话，一起来交流研究！（详见：别再酸了，女朋友是不可能发，但是可以用python帮你创造机会搞到一个！搞到来告诉我！https://www.52pojie.cn/thread-1119202-1-1.html(出处: 吾爱破解论坛)）
女朋友存了好多网上的男明星的照片，我准备用python全部换成我的脸！https://www.52pojie.cn/thread-1120431-1-1.html(出处: 吾爱破解论坛)
由于是第一次谈恋爱，所以呢，对女生不是很了解，今天刚好看到微博榜姐搞了一个“女生哪些小秘密，是很多男生不知道的”，下边竟然有60000条评论！
60000个女生的小秘密啊！作为一个什么都不懂的男孩子，你是否好奇呢？
不管你好奇不好奇，反正我是挺好奇的！
看了60000个女生小秘密，女朋友的小秘密，我都能发现的！
代码已经封装了！一款爬取微博手机网页版评论的小程序https://www.52pojie.cn/thread-1123074-1-1.html(出处: 吾爱破解论坛)
代码如下（利用微博手机网页版！网址：https://m.weibo.cn）：
[Python] 纯文本查看 复制代码 import requests
import json
import re
# 定义保存评论的函数
def bcpl(weibo_id, url, headers, number):
count = 0 #设置一个初始变量count为0来进行计数
with open("微博id" + str(weibo_id) + ".txt", "a", encoding="utf8") as f: #打开一个名为“微博idxxxxxx”的txt文件，编码utf-8
# 当count数量小于预期的number时，进行循环
while count < number:
# 判断是不是第一组评论，如果是的话，第一组评论不需要加max_id，之后的需要加
if count == 0:
try:
url = url + weibo_id + '&mid=' + weibo_id + '&max_id_type=0'
web_data = requests.get(url, headers=headers) #F12查看data信息
js_con = web_data.json() #转换一下数据格式
# 获取连接下一页评论的max_id
max_id = js_con['data']['max_id'] #max_id在[data]中
print(max_id)
comments = js_con['data']['data'] #获得数据中[data]中的[data]
for comment in comments: #依次循环获得comments中的数据
comment = comment["text"] #获得[text]下的数据，也就是评论数据
label = re.compile(r'</?\w+[^>]*>', re.S) #删除表情符号
comment = re.sub(label, '', comment) #获得文本评论
f.write(comment + '\n') #写入到文件中
count += 1 #count = count + 1
print("已爬取" + str(count) + "条评论！" ) #显示爬取到第几条
except Exception as e:
print("出错了" ,e)
continue
else:
try:
url = url + weibo_id + 'max_id=' + str(max_id) + '&max_id_type=0'
web_data = requests.get(url, headers=headers)
js_con = web_data.json()
max_id = js_con['data']['max_id']
comments = js_con['data']['data']
for comment in comments:
comment = comment["text"]
label = re.compile(r'</?\w+[^>]*>', re.S)
comment = re.sub(label, '', comment)
f.write(comment+ '\n')
count += 1
print("已爬取" + str(count) + "条评论！")
except Exception as e:
print("出错了" ,e)
continue
if __name__ == "__main__":
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
} #设置user-agent来进行伪装，突破微博反爬限制
url = 'https://m.weibo.cn/comments/hotflow?id='
weibo_id = '4478512314460101' # 要爬取的微博id #[url=https://m.weibo.cn/detail/4478512314460101]https://m.weibo.cn/detail/4478512314460101[/url]
#打开微博手机端网页[url=https://m.weibo.cn]https://m.weibo.cn[/url]，找到要爬取的微博id！
#手机端网页！手机端网页！手机端网页！
number = 60000 # 设置爬取评论量,爬取量在第X组，爬取时会爬取下来该组的数据，所以最终数据可能会大于number，一般是个整10的数
bcpl(weibo_id, url, headers, number)
榜姐微博
代码已经封装了！一款爬取微博手机网页版评论的小程序https://www.52pojie.cn/thread-1123074-1-1.html(出处: 吾爱破解论坛) | 
[复制链接]
发表于 2020-3-4 22:35
