网站 › 『编程语言讨论求助区』 › 【python】爬取锤子便签

lijt16 发表于 2020-1-29 14:26

【python】爬取锤子便签

之前在锤子便签上写了几百条日记，想用python爬下来，使用selenium.webdriver模拟登录后，在查找元素时总是说未找到，不知道为什么，有没人指导一下？
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

chrome_options = Options()
# chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(options=chrome_options)
driver.get("https://yun.smartisan.com/#/")
time.sleep(2)
driver.find_element_by_css_selector('#main > div.nosign-view.ng-scope > div.login-btn > span').click()
driver.find_element_by_css_selector('body > div.wrapper.ng-scope > div.dialog.dialog-shadow > div.content.ng-scope.ng-animate > form > ul > li.username.border-1p > div > input').send_keys('账号')   
driver.find_element_by_css_selector('body > div.wrapper.ng-scope > div.dialog.dialog-shadow > div.content.ng-scope.ng-animate > form > ul > li.password > div > input').send_keys('密码')
driver.find_element_by_css_selector('body > div.wrapper.ng-scope > div.dialog.dialog-shadow > div.content.ng-scope.ng-animate > form > div.btn-wrapper > div > a').click()
driver.find_element_by_css_selector('#main > div.cloud-view.ng-scope > a:nth-child(2) > div.cd-icon.notes-app-icon').click()
wait = WebDriverWait(driver, 30)
element = wait.until(EC.visibility_of_element_located((By.CLASS_NAME, "ng-scope")))
# driver.implicitly_wait(5)
print(driver.find_element_by_css_selector('#noten198t1580278052580 > div.note-status > div.time.ng-binding'))
# driver.find_element_by_xpath('//*[@id="editor"]/div/div/div/div/div/div/div/pre/span/text()')
# print(find_element_by_css_selector('body > div.wrapper > div.note-right > div.edit-wrap.ng-scope > div.edit-con > div.edit-wrap-scroller.ps-container.ps-theme-default.ps-active-y'))
driver.close()
driver.quit()

空心 发表于 2020-1-29 14:45

这个有点疑惑。

BestSum 发表于 2020-1-29 14:59

本帖最后由 BestSum 于 2020-1-29 15:01 编辑

看下原网页是不是ajax请求数据

yixiqiao 发表于 2020-1-29 15:02

个人使用了三台锤子手机   一直用便签记事确实这个数据能爬下来是很有作用的

otho 发表于 2020-1-29 15:49

先看看。谢谢楼主分享

shaguadou 发表于 2020-1-29 16:03

最终的目的是什么？

lijt16 发表于 2020-1-29 16:09

shaguadou 发表于 2020-1-29 16:03
最终的目的是什么？

把日记下下来，我那里只是随便找一个元素尝试的

lijt16 发表于 2020-1-29 16:10

yixiqiao 发表于 2020-1-29 15:02
个人使用了三台锤子手机   一直用便签记事确实这个数据能爬下来是很有作用的

我之前用来记日记，又在其他应用上记了很多，想整理在一起

lijt16 发表于 2020-1-29 19:32

BestSum 发表于 2020-1-29 14:59
看下原网页是不是ajax请求数据

https://yun.smartisan.com/#/，这个网站，其实我爬虫也不是很会，不知道这个需要用什么模块才能爬？

BestSum 发表于 2020-1-30 18:26

lijt16 发表于 2020-1-29 19:32
https://yun.smartisan.com/#/，这个网站，其实我爬虫也不是很会，不知道这个需要用什么模块才能爬？

可否发个测试账号，我去分析一下数据

查看完整版本: 【python】爬取锤子便签