网站 › 『编程语言区』 › 爬取当地人才网，了解求职人员学历占比，男女占比。

绝版coco 发表于 2019-8-8 16:38

爬取当地人才网，了解求职人员学历占比，男女占比。

在经过不断碰灰提问学习百度。完成了一个python爬虫，贴上代码和最后简单的excle统计图
内容如有违规，请管理员删帖。import requests
import json
import codecs
import csv

headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
for page in range(1178):
    res=requests.get('http://www.hzhr.com/Web/data/web.aspx?method=GetPersonList&x=0.4910658938866972&key=&area=&jobtype1=&jobtype2=&edu=&sex=&age=&has=&kind=&worktime=&pageSize=10&pageIndex={}&sortOrder=pi_logintime+desc'.format(page),headers=headers).content.decode("utf-8")

    sex0=json.loads(res)
    datas = sex0["data"]
    f = codecs.open('test.csv', 'a', 'utf_8_sig')
    writer = csv.writer(f);
    for item in datas:
      writer.writerow(, item['edu'], item['sex']])
    f.close()



浙江湖州求职学历，性别比。学历大专，本科主力。男女差别不是特别大。

wangworld 发表于 2019-8-8 16:52

有用正想看一看自己的薪资水平。

御河 发表于 2019-8-8 16:54

有用正想看一看自己的薪资水平。

abc8883 发表于 2019-8-8 16:59

楼主可以哟，有想法

Crazy开发仔 发表于 2019-8-8 17:17

"pi_sex": null,
"sex": null,

性别还有null，这....

zn19951027 发表于 2019-8-8 17:17

统计结果只能参考，数据估计占比30%-45%

546618398 发表于 2019-8-8 17:32

楼主能不能教一下或指点一下怎么入门吗

zmhdszm 发表于 2019-8-8 17:32

想看，但是不会用

h16888 发表于 2019-9-16 01:58

想法很赞 支持你

ct1552276096 发表于 2019-9-17 17:16

参考数据

查看完整版本: 爬取当地人才网，了解求职人员学历占比，男女占比。