爬虫问题求解

Wxylkxy

爬取京东商品的一个小问题 。之前用selenium写过一遍。想用requests再写一遍。  但是有一点卡住了。
我该如何获取某商品的总页数呢。  页面是动态加载的。requests这个页面无法得到页码 这个标签。
我看 滑轮滚动的时候发其他请求 也只有商品数据 没有这个页码。
迷了。

挑灯看花

劝你算了，因为有个参数加密了

Prozacs

result_count就是你搜索商品所得到的商品数量。首先你得解密pvid

jjjzw

可能是js动态加载的，得分析他发了什么请求再用requests写

qianshang666

挑灯看花 发表于 2021-8-30 18:17
劝你算了，因为有个参数加密了

这个参数扣js就行了，就几行代码

Wxylkxy

Prozacs 发表于 2021-8-30 18:20
result_count就是你搜索商品所得到的商品数量。首先你得解密pvid

懂了好兄弟！。 我去调试下。

三滑稽甲苯

断点调试，扒出pvid的加密方式

cflying

pvid好像是根据时间再进行一定的随机后，和一个固定的码混合后而成的，所以猜测随机一个同样位数的字符串去提交应该也行（同样猜测如果去掉这个估计也没啥）。

如果用selenium，试试模拟鼠标下拉到最后底部估计就会显示页数了

如果用request的话，有个偷懒方法，在页面中上部选择京东物流等区域上方，有个共XX个商品，后面就是当前页码和总页码。

kiseyzed

c.genPvid = function() {
            var a = (new Date).getTime();
            var b = "xxxxxxxxxxxx4xxxyxxxxxxxxxxxxxxx".replace(/[xy]/g, function(b) {
                var c = (a + 16 * Math.random()) % 16 | 0;
                return a = Math.floor(a / 16),
                ("x" == b ? c : 3 & c | 8).toString(16)
            });
            return b
        }