python使用grequests爬取豆瓣Top250
grequests是K神基于gevent+requests编写的一个并发发送请求的库,使用起来非常简单。语法和requests类似。使用这个grequests可以节省不少的时间。使用前需要安装grequests库，安装方法如下:
pip install grequests
话不多说，直接上代码:
import grequests
import re
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"
}
for i in range(0,226,25):
lists = grequests.get(f"https://movie.douban.com/top250?start={i}&filter=",headers=headers),
re_m = grequests.map(lists)
result = re_m.text
every = re.findall("<img width=\"100\" alt=\"(.*?)\" src=",result,re.S)
for rest in every:
print(rest)
由于本人技术太菜，大神们轻喷。 我觉得，如果对爬虫有点兴趣的同学，建议自己玩转：豆瓣Top250。
豆瓣Top250 是爬虫练手的最强题目，而且也非常友好；
每个电影里的字段那么多，还是数字，可以完成很多的练习，甚至可以玩pandas，巴适的很！
建议不要走什么捷径，自己学会。
春节快乐！
运行结果
Traceback (most recent call last)：
File "/data/user/0/coding.yu.pythoncompiler
.new/files/default.py", line 3, in <module>
import grequests
ModuleNotFoundError: No module named 'greques
ts'
爬虫采集的目的是什么？ 学习一下、{:301_971:} 请教大神：可否用python爬喜马的全部音频？{:1_936:} ltgb 发表于 2024-2-17 09:00
运行结果
Traceback (most recent call last)：
File "/data/user/0/coding.yu.pythoncompiler
CMD中输入
pip install grequests 我估计，妥妥的触发反爬 次谐波 发表于 2024-2-17 09:23
我估计，妥妥的触发反爬
测试过才敢贴代码，测试过再回复行嘛。 这个库不会用啊。突然接触这个库，感觉很难用 milu1123 发表于 2024-2-17 10:28
这个库不会用啊。突然接触这个库，感觉很难用
语法和requests类似。