前言：昨天在吾爱看到一个悬赏《求写一个微信公众号爬虫》，要求根据关键字搜索全网公众号，并导出为excell表格。
趁着上班划水的时间，我就写了一个爬虫。
爬取公众号的思路：
一、首先是要先登录公众号，可以用selenuim，模拟浏览器登录微信公众号，然后将cookies（登录状态）保存下来，还有就是微信的查询公众号的接口是需要token的，token的获取可以从登录后的跳转链接去截取
二、通过request+cookies，模拟查询的请求参数，发送get请求，获取报文，微信公众号的查询是分页查询，所以要多次调用，每次从第begin条记录开始查，每次查count个，当返回结果小于count的时候，就结束调用，begin初始化为0，count默认为5，然后query参数是关键字，其他参数默认
三、新建一个excel表，将返回的结果进行处理，获取每条记录的id,name等参数，做成一个行，写入到excel中，最后保存
（你们也可以根据这个思路，去获取某个公众号的往期推文，或者爬取其他信息）
效果图片：
以下是代码
[Python] 纯文本查看 复制代码 from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import json
import requests
from openpyxl import Workbook
def savecookies(cookies):
with open("./cookies.json", "w") as fp:
json.dump(cookies, fp)
def setcookies(driver):
with open("./cookies.json", "r") as fp:
cookies = json.load(fp)
for cookie in cookies:
# for k,v in cookie.items():
# item = {'name':k,"value":v}
driver.add_cookie(cookie_dict=cookie)
return driver
def login(driver):
loginURL="https://mp.weixin.qq.com/";
driver.get(loginURL)
print("打开页面中...")
time.sleep(2)
#重新获取当前的url，当url不等于loginURL证明已经登录
if(str(driver.current_url).find("token=")>0):
print("已经登录")
else:
time.sleep(2)
#监听用户是否扫码登录，登录跳出循环
while driver.current_url == loginURL:
time.sleep( 0.5 )
print("----登录成功");
#保存cookies
savecookies(driver.get_cookies())
#获取token
driver.get("https://mp.weixin.qq.com");
nowURL = driver.current_url
start = str(nowURL).find("token=")+6
token = str(nowURL)[start:]
return token
def search(word,token,begin,count):
headers = {
"HOST": "mp.weixin.qq.com",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36",
}
#request设置cookies
cookies_dict = dict()
with open("./cookies.json", "r") as fp:
cookies = json.load(fp)
for cookie in cookies:
if cookie['name'] == 'pgv_si':
continue
if cookie['name'] == 'uuid':
continue
cookies_dict[cookie['name']] = cookie['value']
cookiesJar = requests.utils.cookiejar_from_dict(cookies_dict, cookiejar=None,overwrite=True)
session = requests.session()
session.cookies=cookiesJar
session.headers =headers
#模拟get请求
res = session.get("https://mp.weixin.qq.com/cgi-bin/searchbiz?action=search_biz&begin="+str(begin)+"&count="+str(count)+"&query="+word+"&token="+str(token)+"&lang=zh_CN&f=json&ajax=1")
print(res.text)
return json.loads(res.text)
def save(datas):
#解析报文
resultList = datas['list']
for item in resultList:
#组成一行
row = [item['fakeid'],item['nickname'],item['round_head_img'],item['alias'],item['service_type']]
#写入
sheet.append(row)
if __name__ == '__main__':
#新建一个excel
book = Workbook()
sheet= book._sheets[0]
option = Options()
# 以下为不显示浏览器界面进行运行的设置
# option.add_argument('--headless')
# option.add_argument('--disable-gpu')
# option.add_argument("window-size=1024,768")
# option.add_argument("--no-sandbox")
option.add_argument(r"user-data-dir=D:\WeChat")#将浏览器的数据进行保存，第二次浏览可以不用在登录
#加载设置和驱动
driver = webdriver.Chrome(options= option,executable_path="./chromedriver.exe")
#登录并获取token
token = login(driver)
#编写标题行
row = ['fakeid','nickname','round_head_img','alias','service_type']
#写入
sheet.append(row)
#开始爬取搜索公众号的结果
begin = 0
while True:
#模拟get请求
res = search("笔吧",token,begin,5)
#写入到excel
save(res)
#翻页
begin+=5
#当最后一页时，返回的数据个数小于count跳出循环
if len(res['list'])<5:
break
#保存
book.save("./WeChat.xlsx")
driver.quit()
完整的代码：
https://www.lanzoux.com/i6Un9g3vcgd密码:i2tu | 
[复制链接]
发表于 2020-8-27 15:45
|
发表于 2021-5-31 10:09
虫