python爬虫自动化测试selenium的运用

ai酸的博文

本文只作学习交流

一、实战内容：

爬取淘宝网，自动输入想要的商品关键字（如：手机），点击确定按钮搜索，跳转到登录界面使用二维码人工登录，再跳转到商品界面进行爬取商品信息。

二、源       码：

[Python] 纯文本查看 复制代码

from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
import time

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser,8)
input = wait.until(EC.presence_of_element_located((By.ID,'q')))
input.send_keys('手机')
button = wait.until(EC.presence_of_element_located((By.CLASS_NAME,'btn-search.tb-bg')))
button.click()
time.sleep(15)
img = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME,'J_ItemPic.img')))
price = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME,'price.g_price.g_price-highlight')))
name = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME,'J_ClickStat')))
num = 0
for i in img:
    print('第',num+1,'个商品介绍：')
    print('img:',i.get_attribute('src'))
    print('price:',price[num].text)
    print('name:',name[num].text)
    num = num +1

三、结果图片：




欢迎各位大佬前来提出建议、指正。


免费评分可以来一波喔

shiory

虽然很简单，但作为分享还是有点意思的，大佬们肯定觉得没啥意思。感觉你是针对新手的，可以给代码做点注释写点扩展知识，这样帖子的目标用户针对性更强。

ai酸的博文

夜归雪 发表于 2020-2-16 16:56
模拟浏览器，但是淘宝这种网页会不会识别之后进行反爬措施，我听说很多网站识别selenium起来很容易

对啊，当我要进行搜索“手机”这个商品的时候，它会让我登录，还需要滑验证。

南吕拾贰

感谢分享

ckypamym119

感谢！学习了！

夜归雪

模拟浏览器，但是淘宝这种网页会不会识别之后进行反爬措施，我听说很多网站识别selenium起来很容易

jydcb003

相对比较简单些。学习

phpbird

淘宝的用户名密码可以放在配置里输入么？好像是有控件的

ai酸的博文

shiory 发表于 2020-2-16 16:42
虽然很简单，但作为分享还是有点意思的，大佬们肯定觉得没啥意思。感觉你是针对新手的，可以给代码做点注释 ...

谢谢你的建议，我会努力的