frankyxu 发表于 2019-3-13 16:56

python通过web添加定时任务爬取豆瓣关键字房源数据并推送到自己的微信

## hello,大家下午好,这次给大家分享基于flask的豆瓣定时任务爬虫,并推送到自己的微信(https://github.com/guapier/zufang),求热心,求star
<h1>这里有房</h1>


## About

听说最近你想租房,但是却没时间去相应网站查看,我想我做的这个东东可以满足你的需求,功能比较简单,通过web方式添加关键字定时任务,然后爬虫定时爬取关键字房源,然后进行微信推送,你只需要在微信里面就可以查看你想要了解的房源信息

---
## skills
主要用到了flask,sqlalchemy,apscheduler这些技术,其中flask提供web页面和api,sqlalchey主要负责处理数据库方面问题,apscheduler主要处理定时任务,以及定时任务持久化

---
## run
1.安装包
```bash
pip install flask
pip install flask-login
pip install flask-sqlalchey
pip install flask-apscheduler
```
2.运行
```python
python group-search-city.py
python app_schedule.py
```
3.说明
房源数据主要来源于豆瓣,后期可能会添加其他源,group-search-city.py主要用来爬虫都放城市所对应的group,python app_schedule.py用来启动应用,每次最多推送10条,数据通过title去重,关键字用英文逗号隔开,不可以使用中文,代码没有做太多的异常处理,风格也还有待完善,没有用到flask中的蓝图,后期会进行优化
4.感谢
灵感来自(http://house.jiandan.live/)
ui也是参考的他的UI,感谢,核心逻辑是自己实现的

!(https://i.loli.net/2019/03/13/5c88be4a2c3e5.png)
!(https://i.loli.net/2019/03/13/5c88be4915dde.png)
!(https://i.loli.net/2019/03/13/5c88c29188233.jpg)
!(https://i.loli.net/2019/03/13/5c88c2c73cc02.jpg)

359665589 发表于 2019-4-4 15:39

fy繁星 发表于 2019-3-13 23:07
请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?

是flask后台,楼主已经说过了,好好看内容

testsoso 发表于 2019-3-14 09:16

fy繁星 发表于 2019-3-13 23:07
请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?

是flask后台,楼主已经说过了,好好看内容

yhcfsr 发表于 2019-3-13 17:28

先收藏,等我试用后再来廉价

nickl 发表于 2019-3-13 19:14

fy繁星 发表于 2019-3-13 23:07

请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?

testsoso 发表于 2019-3-14 09:15

fy繁星 发表于 2019-3-13 23:07
请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?

是flask后台,楼主已经说过了,好好看内容

lijundong815 发表于 2019-3-14 09:24

新人学习感谢分享 !

nlsx 发表于 2019-3-14 13:53

这个微信接口倒是挺不错的{:301_998:}

BE一诺 发表于 2019-3-14 17:13

很不错,学习了

xwl 发表于 2019-3-14 17:45

非常感谢,无论技术还是需求方面都是非常好,谢谢
页: [1] 2
查看完整版本: python通过web添加定时任务爬取豆瓣关键字房源数据并推送到自己的微信