[10月6日更新 1.1.6]豆瓣租房小组多线程爬虫。爬取后自动按时间排序生成markdown文件

itning · 发表于 2020-7-4 11:52

本帖最后由 itning 于 2020-10-6 13:39 编辑

豆瓣租房爬虫
1.1.6 修复崩溃问题
爬取结果文件（markdown）建议使用typora打开

使用教程确保C:\\Windows\\Fonts\\目录下有simsun.ttc字体文件

如何设置豆瓣群组链接？
- 首先搜索某个地区租房，例如：北京租房
- 点进去要爬取的某个小组，例如第一个：北京租房
- 将页面拉到最下面有个> 更多小组讨论超链接，点进去
- 复制地址栏中地址（从/group开始复制到结尾），粘贴到软件设置豆瓣群组链接有时候粘贴进软件会崩溃，不知道什么原因，建议把软件中原来的链接删除再粘贴进去。
- 将start=后边的数字50改成%d
- 完成
如何设置排除(包含)关键字？排除关键字是标题和内容只要出现关键字就会排除掉该条租房信息。例如默认是限女这个关键字，只要租房信息中包含限女生入住，只限女生等出现限女关键字的一律不爬。多个关键字用|分隔，注意是英文的。例如：限女|短租|整租，这三个关键字设置后，只要标题和内容出现这三个关键字软件就不会爬取。包含关键字只适用于标题，例如包含关键字为A，标题中含A，但内容中不含，会爬取；内容含A，标题不含，不会爬取。
关于识别标题中的价格使用正则\b\d{4}\b识别标题中的价格信息，无法爬取少于1000元的信息。
关于爬取结果排序先根据价格从小到大排序，价格相同根据发帖时间排序。
关于爬取结果文件(.md扩展名)如何打开建建议下载软件：typora
如何设置cookie？
- 打开豆瓣小组，例如：https://www.douban.com/group/554566/discussion?start=0
- 按F12打开开发者控制台，点击Console控制台选项卡
- 输入document.cookie回车，复制内容（注意前后双引号不要复制）
- 将复制的内容粘贴在程序中

项目开源及介绍请查看GitHub
https://github.com/itning/DouBanReptile

下载地址:
https://github.com/itning/DouBanReptile/releases

Sumi_小书 · 发表于 2020-7-6 20:23

itning 发表于 2020-7-6 16:51
58上中介有点多诶

我看到一个公众号大佬推荐租房找58同城，只要避免是那种认证的人发布的信息可以比较大几率避免遇上中介来着。

itning · 发表于 2020-7-5 16:08

lan0164234 发表于 2020-7-5 01:47
1.豆瓣群组链接无法自定义，设置过来还是默认的554566

2.群组链接的格式不一样~可以出一份教程

1. 已修复
2. 教程已出
3. 没错

唧唧歪歪 · 发表于 2020-7-4 22:15

大神，打不开，，是不是要安装什么环境呀

lan0164234 · 发表于 2020-7-5 01:47

1.豆瓣群组链接无法自定义，设置过来还是默认的554566

2.群组链接的格式不一样~可以出一份教程

3.go语言写的？

itning · 发表于 2020-7-5 16:09

唧唧歪歪发表于 2020-7-4 22:15
大神，打不开，，是不是要安装什么环境呀

打不开？闪退吗？我更新了你看看能不能行

血色天空 · 发表于 2020-7-5 16:26

哈哈，中介专用哇，歇息分享

lan0164234 · 发表于 2020-7-6 00:50

如果有可能，建议加上筛选，针对某小组里面的关键字进行爬取，上了给你CD~~~

EvanChan · 发表于 2020-7-6 06:57

能不能出个针对账号发帖历史的爬虫呢？

toddlj · 发表于 2020-7-6 07:15

这个是针对中介的吗？也太好用了吧。

萌萌的提莫酱 · 发表于 2020-7-6 09:16

这个工具还是很方便的

帐号		自动登录	找回密码
密码			注册[Register]

[原创工具] [10月6日更新 1.1.6]豆瓣租房小组多线程爬虫。爬取后自动按时间排序生成markdown文件

免费评分