吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 5321|回复: 18
收起左侧

[Python 转载] python通过web添加定时任务爬取豆瓣关键字房源数据并推送到自己的微信

  [复制链接]
frankyxu 发表于 2019-3-13 16:56

hello,大家下午好,这次给大家分享基于flask的豆瓣定时任务爬虫,并推送到自己的微信github地址,求热心,求star

<h1>这里有房</h1>

About

听说最近你想租房,但是却没时间去相应网站查看,我想我做的这个东东可以满足你的需求,功能比较简单,通过web方式添加关键字定时任务,然后爬虫定时爬取关键字房源,然后进行微信推送,你只需要在微信里面就可以查看你想要了解的房源信息


skills

主要用到了flask,sqlalchemy,apscheduler这些技术,其中flask提供web页面和api,sqlalchey主要负责处理数据库方面问题,apscheduler主要处理定时任务,以及定时任务持久化


run

1.安装包

pip install flask
pip install flask-login
pip install flask-sqlalchey
pip install flask-apscheduler

2.运行

python group-search-city.py
python app_schedule.py

3.说明
房源数据主要来源于豆瓣,后期可能会添加其他源,group-search-city.py主要用来爬虫都放城市所对应的group,python app_schedule.py用来启动应用,每次最多推送10条,数据通过title去重,关键字用英文逗号隔开,不可以使用中文,代码没有做太多的异常处理,风格也还有待完善,没有用到flask中的蓝图,后期会进行优化
4.感谢
灵感来自tomxin7
ui也是参考的他的UI,感谢,核心逻辑是自己实现的

task_list.png
task.png
detail.jpg
list.jpg

免费评分

参与人数 2吾爱币 +4 热心值 +2 收起 理由
T。T达 + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
wushaominkk + 3 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!

查看全部评分

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

359665589 发表于 2019-4-4 15:39
fy繁星 发表于 2019-3-13 23:07
请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?

是flask后台,楼主已经说过了,好好看内容
testsoso 发表于 2019-3-14 09:16
fy繁星 发表于 2019-3-13 23:07
请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?

是flask后台,楼主已经说过了,好好看内容
yhcfsr 发表于 2019-3-13 17:28
头像被屏蔽
nickl 发表于 2019-3-13 19:14
提示: 作者被禁止或删除 内容自动屏蔽
fy繁星 发表于 2019-3-13 23:07
请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?
testsoso 发表于 2019-3-14 09:15
fy繁星 发表于 2019-3-13 23:07
请问一下楼主,您那个第一个截图 有个添加新任务 的是什么web后台吗?

是flask后台,楼主已经说过了,好好看内容
lijundong815 发表于 2019-3-14 09:24
新人学习  感谢分享 !
nlsx 发表于 2019-3-14 13:53
这个微信接口倒是挺不错的
BE一诺 发表于 2019-3-14 17:13
很不错,学习了
xwl 发表于 2019-3-14 17:45 来自手机
非常感谢,无论技术还是需求方面都是非常好,谢谢
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-16 03:09

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表