wtujcf123 发表于 2022-9-8 21:10

请问如何获得这个值

大家好,想抓取阿里拍卖的信息,如果不登陆只能看一小点数据,但登陆后,也发现只要页面一变,请求头中的cookie里的“isg”、“l”参数就会变更,另外查询数据中的spm 也变更,请问各位老师,这个是怎样的一个规律呢。我要如何构建呢?
https://sf.taobao.com/list/50025972____%B1%B1%BE%A9.htm?spm=a213w.7398504.filter.48.53f87fb7AtFrfh&auction_source=0&st_param=-1&auction_start_seg=-1

advancejar 发表于 2022-9-8 22:00

阿里的东西尽量不要采集
就算你全对,也会有部分数据无法采集,作为一个初学者先不要踩这个坑

wtujcf123 发表于 2022-9-8 22:18

advancejar 发表于 2022-9-8 22:00
阿里的东西尽量不要采集
就算你全对,也会有部分数据无法采集,作为一个初学者先不要踩这个坑

恩。好的,谢谢老师了,我最近想拍个东西,需要收集些数据,所以才想采集的。老师你这有源码吗?

我去年买了各表 发表于 2022-9-8 22:23

wtujcf123 发表于 2022-9-8 22:26

我去年买了各表 发表于 2022-9-8 22:23
使劲作啊,反正刚学打铁就想造机甲

{:1_918:}{:1_918:}{:1_918:}{:1_918:}{:1_918:}{:1_918:}{:1_918:},
并不是呢,也是有实际需要。
唉,慢慢摸索中,阿里这个坑确实不小。希望老师们能给点意见。

外酥内嫩 发表于 2022-9-8 23:00

阿里系的反爬一般都挺强,你这个也必须通过js逆向一点点看

坚持梦想 发表于 2022-9-9 08:50

你可以考虑一下爬虫工具,比如后羿
https://i.postimg.cc/HksCPYBR/20220909084949.png

wtujcf123 发表于 2022-9-9 08:51

外酥内嫩 发表于 2022-9-8 23:00
阿里系的反爬一般都挺强,你这个也必须通过js逆向一点点看

恩。是的。观察了好久,才知道里面有好久变动的参数。但具体从哪能获取这些参数,完全没有头绪,您能帮忙看看吗?谢谢了。

wtujcf123 发表于 2022-9-9 09:01

坚持梦想 发表于 2022-9-9 08:50
你可以考虑一下爬虫工具,比如后羿

图片看不清呢,这个工具和fiddler类似吗?

外酥内嫩 发表于 2022-9-9 09:12

wtujcf123 发表于 2022-9-9 08:51
恩。是的。观察了好久,才知道里面有好久变动的参数。但具体从哪能获取这些参数,完全没有头绪,您能帮忙 ...

挺难搞的,实在不行试试selenium吧
页: [1] 2
查看完整版本: 请问如何获得这个值