网站 › 『编程语言区』 › python反反爬基础 网页随机UA提交请求

vsyour 发表于 2019-4-12 14:05

python反反爬基础 网页随机UA提交请求

import urllib.request
from fake_useragent import UserAgent

ua = UserAgent()


def randomWeb():
    url = 'http://www.baidu.com'
    request = urllib.request.Request(url)
    # 增加随机请求头信息 user_agent
    request.add_header("User-agent", ua.random)
    # 加Referer
    request.add_header("Referer", 'https://tieba.baidu.com/index.html')
    # 请求URL
    response = urllib.request.urlopen(request)
    print('请求头部信息:', request.headers)
    # print('返回头部信息:',response.headers)


if __name__ == '__main__':
    randomWeb()

额微粒波地 发表于 2019-4-12 15:40

vsyour 发表于 2019-4-12 15:30
fake_useragent包可以了解一下
https://pypi.org/project/fake-useragent/

我问了一下老师 他说他到时候教scrapy，咱也不懂啊{:1_907:}

vsyour 发表于 2019-4-12 15:30

额微粒波地 发表于 2019-4-12 14:52
fake_useragent包下面的UserAgent怎么写呀

fake_useragent包可以了解一下
https://pypi.org/project/fake-useragent/

yike911 发表于 2019-4-12 14:21

DEFwa 发表于 2019-4-12 14:25

这个有意思，谢谢

admtest 发表于 2019-4-12 14:31

谢谢.这个比较实用.

倾临雨落 发表于 2019-4-12 14:32

感谢分享

guifa2014 发表于 2019-4-12 14:33

正在学习中，受教，受教

额微粒波地 发表于 2019-4-12 14:52

fake_useragent包下面的UserAgent怎么写呀

额微粒波地 发表于 2019-4-12 15:36

vsyour 发表于 2019-4-12 15:30
fake_useragent包可以了解一下
https://pypi.org/project/fake-useragent/

欧克 谢谢 ，我最近才学py，好多插件和包都不知道 ，嗯

查看完整版本: python反反爬基础 网页随机UA提交请求