[Asm] 纯文本查看 复制代码
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver import ChromeOptions#反检测
from time import sleep
import time
import re
from selenium.webdriver.common.by import By
option=ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
####
s = Service("../SELENIUM/chromedriver.exe")
driver = webdriver.Chrome(service=s,options=option)
##########################
driver.get('https://music.163.com/#/song?id=488249475')
#执行自动化
# selenium无法直接获取到嵌套页面里面的数据,主要是看iframe
driver.switch_to.frame(0) # switch_to.frame() 切换到嵌套网页
driver.implicitly_wait(10) # 让浏览器加载的时候, 等待渲染页面
#下拉页面, 直接下拉到页面的底部
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
driver.execute_script(js)
#.解析数据
for i in range(1,101):#爬取的时候可以搞一个tqdm模块，要不然这100多页太慢了
btn=driver.find_element(By.CLASS_NAME,'zbtn')
btn.click()
time.sleep(1.8)
divs = driver.find_elements(By.CSS_SELECTOR,'.itm') # 所有div css语法: 定位到 html 数据/xpath/正则
for div in divs:
cnt = div.find_element(By.CSS_SELECTOR,'.cnt.f-brk').text
id=cnt.split("：")[0]#以：作为分割
cnt=cnt.split("：")[1]
print(id,":",cnt)
with open('哪里都是你.txt',mode="a",encoding='utf-8') as f:
f.write(cnt)
f.write('\n')
# print(resp.text)
sleep(100)
driver.quit()
词云图代码：
[Python] 纯文本查看 复制代码 #改生成图片的地址,改txt文件路径，该打开的图片名称
import matplotlib.pyplot as plt # 绘制图像的模块
import jieba # jieba分词
import re
import stylecloud
import collections
from PIL import Image
path_txt = 'D:\P\爬虫\音乐\哪里都是你.txt'
f = open(path_txt, 'r', encoding='utf-8').read()
# 文本预处理 ：只提取出中文
new_data = re.findall('[\u4e00-\u9fa5]+', f, re.S)
new_data = "/".join(new_data)
# 文本分词
seg_list_exact = jieba.cut(new_data, cut_all=True)
result_list = []
with open('D:\P\爬虫\牛刀小试\豆瓣电影\停用词库.txt', encoding='utf-8') as f: #可根据需要打开停用词库，然后加上不想显示的词语
con = f.readlines()
stop_words = set()
for i in con:
i = i.replace("\n", "") # 去掉读取每一行数据的\n
stop_words.add(i)
for word in seg_list_exact:
if word not in stop_words and len(word) > 1:
result_list.append(word)
# print(result_list)
word_counts = collections.Counter(result_list)
# 词频统计：获取前100最高频的词
word_counts_top = word_counts.most_common(100)
print(word_counts_top)
# 绘制词云图
stylecloud.gen_stylecloud(text=' '.join(result_list[:1000]), # 提取500个词进行绘图
collocations=False, # 是否包括两个单词的搭配（二字组）
font_path=r'C:\Windows\Fonts\msyh.ttc', #设置字体，参考位置为 C:\Windows\Fonts\ ，根据里面的字体编号来设置
size=2000, # stylecloud 的大小
palette='cartocolors.qualitative.Bold_7', # 调色板，调色网址： https://jiffyclub.github.io/palettable/
background_color='black', # 背景颜色
icon_name='fas fa-plane', # 形状的图标名称 蒙版网址：https://fontawesome.com/icons?d=gallery&p=2&c=chat,shopping,travel&m=free
gradient='horizontal', # 梯度方向
max_words=2000, # stylecloud 可包含的最大单词数
max_font_size=200, # stylecloud 中的最大字号
stopwords=True, # 布尔值，用于筛除常见禁用词
output_name='哪里都是你.png') # 输出图片
# 打开图片展示
img=Image.open('哪里都是你.png')
img.show()
图片如下：
| 
[复制链接]
发表于 2022-9-19 20:25
|
发表于 2022-9-19 22:30
，这个代码是直接复制到python里吗
