网站 › 『编程语言区』 › 初学 python 爬虫 -- 微博用户空间动态图片爬取

CloudWorld 发表于 2022-2-18 10:44

初学 python 爬虫 -- 微博用户空间动态图片爬取

本帖最后由 CloudWorld 于 2022-2-23 11:16 编辑

微博动态图片爬取


地址 https://m.weibo.cn/
初次接触微博的api，因此针对性的获取到三个api，目前不知道是否为最短路径
源代码贴在最后

步骤：
1. 模拟搜索用户
GET
api ：https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall
1.1 对api内参数进行处理
    containerid=100103type=1&q=半半子——> containerid=100103type%3D1%26q%3D%E5%8D%8A%E5%8D%8A%E5%AD%90_
    这个参数需要提前转码，否则无法获取数据
1.2 对用户名进行判断，通过后提取uid



2. 获取more参数
GET
api : https://m.weibo.cn/profile/info?uid=2830125342
2.1 提取并处理more参数



3. 循环提取图片id
GET
api : https://m.weibo.cn/api/container/getIndex?containerid=2304132830125342_-_WEIBO_SECOND_PROFILE_WEIBO&page_type=03&page=1
3.1 提取图片id——>pic_id
3.2 获取发送图片用户
3.3 根据动态创建时间生成用户唯一识别码


4. 下载图片
url : https://wx2.sinaimg.cn/large/pic_id.jpg（直接贴会显示下载图片）
4.1 文件名 用户名_日期(年月日时分秒)_编号.jpg例:半半子__20220212120146_1.jpg





import os
import sys
import time
from urllib.parse import quote

import requests

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}


def time_to_str(c_at):
    ti = time.strptime(c_at, '%a %b %d %H:%M:%S +0800 %Y')
    time_str = time.strftime('%Y%m%d%H%M%S', ti)
    return time_str


# 1. 搜索用户，获取uid
# 2. 通过uid获取空间动态关键参数
# 3. 获取动态内容
# 4. 提取图片参数
# 5. 下载图片

# 1. 搜索用户，获取uid
# ========= 用户名 =========
# 输入不同的用户名可切换下载的用户图片
# 用户名需要完全匹配
name = '半半子_'
# =========================

con_id = f'100103type=1&q={name}'
# 这个条件需要转码
con_id = quote(con_id, 'utf-8')
user_url = f'https://m.weibo.cn/api/container/getIndex?containerid={con_id}&page_type=searchall'
user_json = requests.get(url=user_url, headers=headers).json()
user_cards = user_json['data']['cards']
for card_num in range(len(user_cards)):
    if 'mblog' in user_cards:
      if user_cards['mblog']['user']['screen_name'] == name:
            print(f'正在获取{name}的空间')
            # 2. 通过uid获取空间动态关键参数
            user_id = user_cards['mblog']['user']['id']
            info_url = f'https://m.weibo.cn/profile/info?uid={user_id}'
            info_json = requests.get(url=info_url, headers=headers).json()
            more_card = info_json['data']['more'].split("/")[-1]
            break
file_name = 'weibo'
if not os.path.exists(file_name):
    os.mkdir(file_name)

if len(more_card) == 0:
    sys.exit()
page_type = '03'
page = 0
while True:
    # 3. 获取动态内容
    page += 1
    url = f'https://m.weibo.cn/api/container/getIndex?containerid={more_card}&page_type={page_type}&page={page}'
    param = requests.get(url=url, headers=headers).json()
    cards = param['data']['cards']
    print(f'第 {page} 页')
    for i in range(len(cards)):
      card = cards
      if card['card_type'] != 9:
            continue
      mb_log = card['mblog']
      # 4. 提取图片参数
      # 获取本人的图片
      pic_ids = mb_log['pic_ids']
      user_name = mb_log['user']['screen_name']
      created_at = mb_log['created_at']
      if len(pic_ids) == 0:
            # 获取转发的图片
            if 'retweeted_status' not in mb_log:
                continue
            if 'pic_ids' not in mb_log['retweeted_status']:
                continue
            pic_ids = mb_log['retweeted_status']['pic_ids']
            user_name = mb_log['retweeted_status']['user']['screen_name']
            created_at = mb_log['retweeted_status']['created_at']
      time_name = time_to_str(created_at)
      pic_num = 1
      print(f'======== {user_name} ========')
      # 5. 下载图片
      for pic_id in pic_ids:
            pic_url = f'https://wx2.sinaimg.cn/large/{pic_id}.jpg'
            pic_data = requests.get(pic_url, headers)
            # 文件名 用户名_日期(年月日时分秒)_编号.jpg
            # 例:半半子__20220212120146_1.jpg
            with open(f'{file_name}/{user_name}_{time_name}_{pic_num}.jpg', mode='wb') as f:
                f.write(pic_data.content)
                print(f'    正在下载：{pic_id}.jpg')
            pic_num += 1
      time.sleep(2)




2022年2月23日 更新：
    1. 新增 uid 下载模式
    2. 优化用户名下载方式
    3. 将源代码进行打包成exe模式
       exe及源代码 https://wwa.lanzoul.com/iHWu000hlwbc



没有系统的学过python，代码不规范之处请见谅

CloudWorld 发表于 2022-2-23 11:20

xiaofengzia 发表于 2022-2-22 12:16
https://m.weibo.cn/u/1927305954?uid=1927305954&luicode=10000011&lfid=2308696057965476_-_mix我想要 ...

图片已经下载成功，但文件包过大，需要晚上才能上传，如果急的话，可以在上面的蓝奏云链接上下载exe可执行文件自己去下载，目前提供uid和用户名两种下载方式

叹浮生_ 发表于 2022-3-3 17:52

Traceback (most recent call last):
File "D:\Desktop\新建文件夹\新建文本文档.py", line 52, in <module>
    if len(more_card) == 0:
NameError: name 'more_card' is not defined

我直接修改了你的源代码，这是uid的问题吗

xiaofengzia 发表于 2022-2-21 19:08

我搜索发现了你的帖子，你能不能帮我下一下微博图片，不能就算了

zm55555 发表于 2022-2-22 08:49

谢谢分享！

CloudWorld 发表于 2022-2-22 11:15

xiaofengzia 发表于 2022-2-21 19:08
我搜索发现了你的帖子，你能不能帮我下一下微博图片，不能就算了

什么图片，地址发过来我看看

xiaofengzia 发表于 2022-2-22 12:16

CloudWorld 发表于 2022-2-22 11:15
什么图片，地址发过来我看看

https://m.weibo.cn/u/1927305954?uid=1927305954&luicode=10000011&lfid=2308696057965476_-_mix我想要这个博主的所有图片可以吗

JIATENGXIN 发表于 2022-2-23 19:27

牛啊牛啊，学到了学到了

zhuyh 发表于 2022-2-24 08:53

xiaofengzia 发表于 2022-2-21 19:08
我搜索发现了你的帖子，你能不能帮我下一下微博图片，不能就算了

你想下啥？

Sumi_小书 发表于 2022-3-3 14:57

我想下这个博主的封面图，https://weibo.com/p/1005056100165591/home?from=page_100505&mod=TAB&is_all=1#_rnd1646290187082


之前那种找地址的方法已经不管用了
请问能帮忙下么

查看完整版本: 初学 python 爬虫 -- 微博用户空间动态图片爬取