python爬虫自动化测试selenium的运用
本帖最后由 ai酸的博文 于 2020-2-16 16:12 编辑本文只作学习交流
一、实战内容：
爬取淘宝网，自动输入想要的商品关键字（如：手机），点击确定按钮搜索，跳转到登录界面使用二维码人工登录，再跳转到商品界面进行爬取商品信息。
二、源 码：
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
import time
browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser,8)
input = wait.until(EC.presence_of_element_located((By.ID,'q')))
input.send_keys('手机')
button = wait.until(EC.presence_of_element_located((By.CLASS_NAME,'btn-search.tb-bg')))
button.click()
time.sleep(15)
img = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME,'J_ItemPic.img')))
price = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME,'price.g_price.g_price-highlight')))
name = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME,'J_ClickStat')))
num = 0
for i in img:
print('第',num+1,'个商品介绍：')
print('img:',i.get_attribute('src'))
print('price:',price.text)
print('name:',name.text)
num = num +1
三、结果图片：
欢迎各位大佬前来提出建议、指正。
免费评分可以来一波喔{:301_997:} 虽然很简单，但作为分享还是有点意思的，大佬们肯定觉得没啥意思。感觉你是针对新手的，可以给代码做点注释写点扩展知识，这样帖子的目标用户针对性更强。 夜归雪 发表于 2020-2-16 16:56
模拟浏览器，但是淘宝这种网页会不会识别之后进行反爬措施，我听说很多网站识别selenium起来很容易
对啊，当我要进行搜索“手机”这个商品的时候，它会让我登录，还需要滑验证。 感谢分享 感谢！学习了！ 模拟浏览器，但是淘宝这种网页会不会识别之后进行反爬措施，我听说很多网站识别selenium起来很容易 相对比较简单些。学习 淘宝的用户名密码可以放在配置里输入么？好像是有控件的 shiory 发表于 2020-2-16 16:42
虽然很简单，但作为分享还是有点意思的，大佬们肯定觉得没啥意思。感觉你是针对新手的，可以给代码做点注释 ...
谢谢你的建议，我会努力的:lol