某企查数据爬取python版

ciker_li · 发表于 2021-1-27 21:36

前天看了别人的爬虫https://www.52pojie.cn/thread-1359373-1-1.html
PHP的，不会用，无聊时改成python试试

[Python] 纯文本查看 复制代码

# -*- coding: utf-8 -*-
import requests
import json
import urllib
import re
from faker import Faker
fake = Faker()
header={'User-Agent': fake.user_agent()}

name = input("请输入公司名称")

data = urllib.parse.quote(str(name))

url = 'https://aiqicha.baidu.com'
url1='https://aiqicha.baidu.com/s?q='+data+'&t=0'

s= requests.Session()
res1 = s.get(url = url,headers =header)
res2 = s.post(url = url1,headers =header)

pattern = 'pid\":\"(\d{14})'
rel = re.findall(pattern,res2.text)

detail_url='https://aiqicha.baidu.com/detail/basicAllDataAjax?pid='+rel[0]  #只爬第一个，想要爬取的话加循环
res3 = s.get(url= detail_url,headers = header)
res3.text.encode('utf-8').decode('unicode_escape')
result = json.loads(res3.text) #返回的企业信息JSON串  可以根据自己需要提取

ciker_li · 发表于 2021-1-28 07:54

qu270051387 发表于 2021-1-27 23:22
请问这种爬取可以爬取到企查查-知识产权-资质证书这部分内容吗也是可以免费查到的内容都是些商业的许 ...

免费的按理说应该能行

qu270051387 · 发表于 2021-1-27 23:22

请问这种爬取可以爬取到企查查-知识产权-资质证书这部分内容吗也是可以免费查到的内容都是些商业的许可证书等

saviorvg · 发表于 2021-1-27 21:41

能爬取什么内容，看见微信里全是介绍python各种爬取的,不太懂！

ciker_li · 发表于 2021-1-27 21:43

就是简单的改写，这个爬取的是公司的信息资料

阿柒柒 · 发表于 2021-1-27 21:48

感谢分享

samsung3ne · 发表于 2021-1-27 22:09

最后输出成什么了？

hackgsl · 发表于 2021-1-27 22:22

去练练手咯

huangyuhou · 发表于 2021-1-27 22:27

不会py....哎

dseqrasd · 发表于 2021-1-27 23:47

太牛了，好强！

久住飞鸟 · 发表于 2021-1-28 00:11

目前正在学习py之中

帐号		自动登录	找回密码
密码			注册[Register]

[Python 原创] 某企查数据爬取python版

免费评分