利用python内置re爬取文章标题
声明：本人纯属python小白，近些时对python着了迷，在网看看了些教程，小试一下，下一步打算学习一下bs4模块的使用用正则表达式爬取某论坛标题
如有违规，敬请管理告知！
"""
-----------------------------
-*- codeing = utf-8 -*-
@Time : 2021-06-28 20:41
@AuThor : 无忧良哥
@file : demo1.py
@Software: PyCharm
-----------------------------
"""
import requests
import re
import time
for i in range(1,1001):
url='https://fishc.com.cn/forum-173-%d.html'%i
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36"
}
abc=requests.get(url=url,headers=headers)
# print(abc.text)
html_abc=abc.text
#数据解析
tern=re.compile('<a .*?s xst">(.*?)</a>',re.S)
items=re.findall(tern,html_abc)
# print(items)
#存储数据到abc.txt中
with open('abc.txt','a',encoding='utf-8') as f:
for item in items:
f.write(item + '\n')
print('=====第%d页爬取完成，休息2秒后进入下一页面的信息爬取=====' % i)
time.sleep(2)
print('%d个页面爬取完毕。。。'%i) 访问网址，好像是另一个论坛的，不知道违规吗 直接 abc=requests.get(url=url,headers=headers).text
不香吗？ 感谢分享网址 好使嘛？看看 ckypamym119 发表于 2021-7-6 17:13
直接 abc=requests.get(url=url,headers=headers).text
不香吗？
应该香吧，但我是小白，谢谢指教 本帖最后由 dummyking 于 2021-7-22 23:10 编辑
建议试用httpx和parsel这两个库，一般情况下比requests + BeautifulSoup快
页:
[1]