lyj0886 发表于 2020-3-12 23:59

今天又没学到什么之爬取星座运势


思路:
1.确认要的东西:


file:///C:/Users/FUTURE~1/AppData/Local/Temp/enhtmlclip/Image(5).png


也就是网站上的这个表格。对应到源代码里的位置(如下图):
file:///C:/Users/FUTURE~1/AppData/Local/Temp/enhtmlclip/Image(6).png





2.利用requests库向星座网站发送请求
3.利用lxml库提取想要的数据




代码:
import requests
from lxml import etree

def sspider(htext):
html = etree.HTML(htext)
html_data = html.xpath('//div[@Class ="content clearfix"]/table[@class = "tb"]/tr/td/text()')

for num in range(0,len(html_data),2):
print(html_data+" : "+html_data)

if __name__ == '__main__':
result = requests.get('http://astro.sina.com.cn/fate_tomorrow_Scorpio/')
result.encoding = 'utf-8';#解决中文乱码
sspider(result.text)




效果图:
file:///C:/Users/FUTURE~1/AppData/Local/Temp/enhtmlclip/Image(7).png






总结:
这次爬虫爬取的是网站表格,加深了对lxml库的熟悉程度。
慢慢进步呀少年!





jidesheng6 发表于 2020-3-13 01:41

厉害👍🏻
页: [1]
查看完整版本: 今天又没学到什么之爬取星座运势