王者荣耀皮肤图片爬虫

天空宫阙

找到了这个接口，只要改page参数就可以了page= 0到19有内容
https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page=0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17108079906974233315_1576410038567&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1576410754875
可能有多余的参数懒得调试就这样一起提交算了

完整的代码

[Python] 纯文本查看 复制代码

import requests
import re
import json
import urllib.parse
from tqdm import tqdm
import time


headers ={
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'
}
def get_picSrc(page):
    url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={}&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17108079906974233315_1576410038567&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1576410754875'.format(str(page))
    response = requests.get(url,headers=headers)
    if response.status_code ==200:
        # print(response.text)
        temp = re.search('jQuery\d+_\d+\((.*?)\)',response.text,re.S)
        if temp:
            data = json.loads(temp.group(1))
            data_list = data['List']
            for item in data_list:
                sProdName = urllib.parse.unquote(item['sProdName'])
                sProdImgNo_8 = urllib.parse.unquote(item['sProdImgNo_8'])
                pic_src = sProdImgNo_8[:-3]+'0'
                pic_info ={
                    'sProdName':sProdName,
                    'pic_src':pic_src
                }
                yield pic_info

def downloadFILE(url,name):
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
    }
    resp = requests.get(url=url,stream=True,headers=headers)
    content_size = int(int(resp.headers['Content-Length'])/1024)
    with open(name, "wb") as f:
        print("Pkg total size is:",content_size,'k,start...')
        for data in tqdm(iterable=resp.iter_content(1024),total=content_size,unit='k',desc=name):
            f.write(data)
        print(name , "download finished!")                
                

if __name__ == "__main__":
    for page in range(0,20):
        print('[info] page:',page)
        pic_infos = get_picSrc(page)
        for pic_info in pic_infos:
            print(pic_info)
            try:
                downloadFILE(pic_info['pic_src'],pic_info['sProdName']+'.jpg')
            except:
                continue
        time.sleep(3)

效果如图


一共爬了390张，好像漏了5张，懒得做异常处理就这样吧。

代码中sProdImgNo_8的部分改成sProdImgNo_6就可以下载1920*1080格式的了，1到8分别是不同尺寸的，但左上还是有王者荣耀的水印，没有水印的是爬取英雄资料的背景图片是1920*822格式了，百度一下一大堆人已经写过了，就不写了。

下载完的文件有点大就不放了，放一个下载工具的链接，有py和封装成的exe，双击即可下载，不愧是腾讯的服务器，下载的真快。

py和封装成的exe：https://www.lanzouj.com/i81e7hc

记得在文件夹中运行，否则被图片铺满桌面不关我的事情。

badyun

看了下楼主的代码，用js复写了一遍

[JavaScript] 纯文本查看 复制代码

const superagent = require('superagent');
const fs = require('fs');

const downloadFile = async (url, filepath) => {
    const mypath = filepath
    const writer = fs.createWriteStream(mypath);
    superagent(url).pipe(writer)
    return new Promise((resolve, reject) => {
        writer.on("finish", resolve);
        writer.on("error", reject);
    });
};

(async () => {
    for (let i = 0; i <= 5; i++) {
        // 每页96个时，最多5页
        let s = await superagent.get('https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi')
            .query({
                sDataType: 'JSON',
                iListNum: 96,
                page: i,
                iActId: 2735
            })

        let result = JSON.parse(s.text).List
        for (let index in result) {
            let ele = result[index]
            let picInfo = {
                sProdName: decodeURIComponent(ele.sProdName),
                picSrc: decodeURIComponent(ele.sProdImgNo_8).replace('/200', '/0')
            }

            await downloadFile(picInfo.picSrc, './wangzhe/' + picInfo.sProdName + '.jpg')
        }
    }

})()

badyun

��չ��� ������ 2019-12-15 22:14
����👍������ֻ��python�ģ���Ϊ�ö����ݶ���js��Ⱦ��Ϊ����������Ҳѧ��һ��JavaScript�������� ...

哈哈，混淆的我看着也难受

迦南圣经

牛皮！！！优秀，

迦南圣经

能不能爬无水印的呀？？

lxy56415653

谢谢，学习了，很多心小东西，，，，

zhunxing358

这个干嘛用？

天空宫阙

zhunxing358 发表于 2019-12-15 21:47
这个干嘛用？

爬着玩，抓包练习

天空宫阙

迦南圣经 发表于 2019-12-15 21:38
能不能爬无水印的呀？？

应该是可以的，没注意水印，就看了下图片很高清就下载了，有时间再改

迦南圣经

天空宫阙 发表于 2019-12-15 21:54
应该是可以的，没注意水印，就看了下图片很高清就下载了，有时间再改

可以，坐等大佬修整2.0