请教用selenium打开网站比单纯用Chrome浏览器慢的问题

jhjhsxs · 发表于 2020-11-14 18:54

本人新人，刚学习python1个半月。，最近学习到爬取动态网页用selenium模块。
但是实际使用发现，用selenium和Chromedriver打开网站的话比单纯用Chrome浏览器要慢很多，在百度搜了一下好像很多人也有这样的问题，
请教各位大佬，这个有办法解决吗？谢谢

枫子树 · 发表于 2020-11-14 19:08

提示: 作者被禁止或删除内容自动屏蔽

lm93129 · 发表于 2020-11-14 19:19

这个慢，是肯定的啊，怎么可能比原生还快，毕竟中间加了好几层。

jhjhsxs · 发表于 2020-11-14 19:53

枫子树发表于 2020-11-14 19:08
最好的办法就是不用selenium 哈哈

那请问一下，爬取动态网站除了selenium还有什么办法吗

青山绿水meng · 发表于 2020-11-14 19:55

打开网页也就第一次用，剩下的可以用点击的方式，或者js代码也可以（记得重新绑定窗口）

Hackilog · 发表于 2020-11-14 19:59

selenium当然慢，能用urllib scrapy这种就不要用涉及到模拟访问的方式。
非要用selenium记得用headless，或者可以试试phantomjs

qidians · 发表于 2020-11-14 20:02

因为它给了你一些回调吧，还有开了一些功能域什么的。大概就是这个原因

枫子树 · 发表于 2020-11-14 22:22

提示: 作者被禁止或删除内容自动屏蔽

jhjhsxs · 发表于 2020-11-15 09:21

枫子树发表于 2020-11-14 22:22
抓包也能得到数据

大佬请问是scrapy函数吗？

jhjhsxs · 发表于 2020-11-15 09:34

Hackilog 发表于 2020-11-14 19:59
selenium当然慢，能用urllib scrapy这种就不要用涉及到模拟访问的方式。
非要用selenium记得用headless， ...

感谢支招

帐号		自动登录	找回密码
密码			注册[Register]

枫子树枫子树当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	枫子树发表于 2020-11-14 19:08 提示: 作者被禁止或删除内容自动屏蔽
枫子树枫子树当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	【吾爱破解论坛总版规】 - [让你充分了解吾爱破解论坛行为规则]
	回复支持举报

枫子树枫子树当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	枫子树发表于 2020-11-14 22:22 提示: 作者被禁止或删除内容自动屏蔽
枫子树枫子树当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽
	回复支持举报

[求助] 请教用selenium打开网站比单纯用Chrome浏览器慢的问题