[python] 有什么办法可以爬取美国亚马逊网页数据(非selenium自动化)

Sandwiches · 发表于 2021-7-17 21:45

本帖最后由 Sandwiches 于 2021-9-5 21:27 编辑

有什么办法可以爬取美国亚马逊网页数据(非selenium自动化)，本人通过使用request请求，但是无法获取到美国亚马逊的源代码，请问有什么其他的方法可以爬吗

lorentz · 发表于 2021-7-17 21:45

如果是动态渲染的网页，直接http请求，没有运行里面的js,是不能拿到数据的，你可以看js请求的链接地址是什么，然后请求那个地址，或者用 chromeless 来直接请求

Sandwiches · 发表于 2021-7-21 11:39

怎么提高悬赏啊，都没人来回答？

www805 · 发表于 2021-7-21 13:44

直接用httpClient请求就可以爬。

Sandwiches · 发表于 2021-7-22 12:16

www805 发表于 2021-7-21 13:44
直接用httpClient请求就可以爬。

没了解过这个功能，能否附上简单可用的代码让我参考，可好？谢谢

xinyangtuina · 发表于 2021-7-22 12:21

结合 mitmproxy 抓包工具
或者直接用chrome插件：web scraper

sz069252 · 发表于 2021-10-28 00:19

最近写了一个爬虫爬亚马逊的感觉还是容易

帐号		自动登录	找回密码
密码			注册[Register]

[经验求助] [python] 有什么办法可以爬取美国亚马逊网页数据(非selenium自动化)