【python】一个简单 的爬虫以及相关数据库操作

打字的小强

不知道违反了规矩没有，违反了就删掉吧，上一篇太“骚”了，被和谐了。

这次来点正常的吧，爬一个负能量的网站，网站只采取了一种反扒措施，随机标签，那我就直接亮代码吧。，数据库相关字段采取了唯一约束，相同的插不进去

[Python] 纯文本查看 复制代码

# -*- coding: utf-8 -*-
# !/usr/bin/python


import requests
import pymysql
from bs4 import BeautifulSoup

test_url = 'https://www.nihaowua.com/home.html'


# 数据库连接操作
def connect_wxremit_db():
    return pymysql.connect(host='***.***.***.***',#填自己mysql的地址
                           port=3306,
                           user='***',#mysql帐号
                           password='********',#mysql密码
                           database='word',
                           charset='utf8')


def download_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
    }
    data = requests.get(url, headers=headers).content  # 请求目标网址
    return data


def parse_html(html):
    result = ""
    soup = BeautifulSoup(html, "html.parser")  # 解析目标网址
    list_soup = soup.find('section').find('div').children  # 找到目标内容
    if list_soup != None:
        for i in list_soup:
            result += i.string
    return result


def main():
    db = connect_wxremit_db()
    cursor = db.cursor()  # 创建数据库游标
    while True:
        try:
            handle = parse_html(download_page(test_url))  # 得到目标数据
            if handle != None:
                print(handle)
                sql = "INSERT INTO chicken(word) VALUES ('%s')" % (handle)  # 数据库插入语句
                cursor.execute(sql)  # 提交数据库操作
                db.commit()
        except:
            pass


if __name__ == '__main__':
    main()

小洲

楼主可以改成异步线程，这样可以提高爬取速度和写入

jellyliao

jellyliao 发表于 2020-11-22 23:47
请教下，我这试着运行了一下，数据有获取到并打印出来，但是数据表里一直没看到数据，改了后面的一点点，提 ...

找到原因了，建表时的字段的字符字错了，改回utf-8就好了

潇卿

感谢楼主

打字的小强

小洲 发表于 2019-3-13 09:10
楼主可以改成异步线程，这样可以提高爬取速度和写入

没必要，总共600条

先神1

Python看着有点好玩。

zhiweng07

学习学习，希望有进步

武胜造纸农

学习学习。。

suyam

nickle52

学习学习