【python】一个简单 的爬虫以及相关数据库操作
本帖最后由 打字的小强 于 2019-3-13 09:12 编辑不知道违反了规矩没有，违反了就删掉吧，上一篇太“骚”了，被和谐了。{:1_925:}
这次来点正常的吧，爬一个负能量的网站，网站只采取了一种反扒措施，随机标签，那我就直接亮代码吧。，数据库相关字段采取了唯一约束，相同的插不进去
# -*- coding: utf-8 -*-
# !/usr/bin/python
import requests
import pymysql
from bs4 import BeautifulSoup
test_url = 'https://www.nihaowua.com/home.html'
# 数据库连接操作
def connect_wxremit_db():
return pymysql.connect(host='***.***.***.***',#填自己mysql的地址
port=3306,
user='***',#mysql帐号
password='********',#mysql密码
database='word',
charset='utf8')
def download_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
}
data = requests.get(url, headers=headers).content# 请求目标网址
return data
def parse_html(html):
result = ""
soup = BeautifulSoup(html, "html.parser")# 解析目标网址
list_soup = soup.find('section').find('div').children# 找到目标内容
if list_soup != None:
for i in list_soup:
result += i.string
return result
def main():
db = connect_wxremit_db()
cursor = db.cursor()# 创建数据库游标
while True:
try:
handle = parse_html(download_page(test_url))# 得到目标数据
if handle != None:
print(handle)
sql = "INSERT INTO chicken(word) VALUES ('%s')" % (handle)# 数据库插入语句
cursor.execute(sql)# 提交数据库操作
db.commit()
except:
pass
if __name__ == '__main__':
main()
楼主可以改成异步线程，这样可以提高爬取速度和写入 jellyliao 发表于 2020-11-22 23:47
请教下，我这试着运行了一下，数据有获取到并打印出来，但是数据表里一直没看到数据，改了后面的一点点，提 ...
{:1_907:}找到原因了，建表时的字段的字符字错了，改回utf-8就好了:'(weeqw {:1_921:}感谢楼主 小洲 发表于 2019-3-13 09:10
楼主可以改成异步线程，这样可以提高爬取速度和写入
没必要，总共600条{:1_907:} Python看着有点好玩。 学习学习，希望有进步 学习学习。。 学习学习{:1_893:}
页:
[1]
2