【2016/10/30 大更新】网页爬虫【内核重写，可靠性、性能提升】【开源】

hez2010 · 发表于 2016-7-1 22:50

本帖最后由 hez2010 于 2016-10-30 14:33 编辑

这是一个网页爬虫，可以分析网页中的所有链接。递归层数建议不要超过5，不然可能会很久。

其实就是一个深度优先搜索+hashmap+正则匹配。对经常找资源的应该会有帮助

支持https等协议

网址前的“http://”等是必须的，否则爬不到。双击列表项目可以选择打开网址或复制到剪贴板

左边是爬到的网页，右边是嗅探到的资源

【更新】
2016/10/30
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议

6、智能判断编码
2016/7/3
1、新增资源嗅探

程序：链接: http://pan.baidu.com/s/1skUivCT 密码: gkxb 解压密码：hez2010
源码

Source.zip (13.98 KB, 下载次数: 1186)
（源码都给你们了要有什么不方便不好用的地方自己改改就行了哈）

dongmu · 发表于 2016-10-28 10:21

看帖基本不回帖，
后来我发现，
这样不但会花掉我的金币，
而且不厚道。
于是我把这段文字保存在记事本里，
每看一个帖子，
就复制上去，
以表达我对楼主的谢意，
把帖子顶起来，
顺便帮自己挣点金钱
其实我说的都是实话，
但是楼主辛苦做的东西，
我不忍心轻易拿走，
必须留言

林海山河 · 发表于 2016-8-16 16:11

冷孤幽发表于 2016-7-1 23:35
楼主你这好像只是爬取URL的吧？利用Python可以很轻松的办到，不过还是支持楼主，希望楼主继续努力.

用python写gui感觉麻烦点

性本善 · 发表于 2016-7-1 23:02

支持一下，谢谢楼主分享

asdfajf · 发表于 2016-7-1 23:03

易语言这么强大啊

Tomatoman · 发表于 2016-7-1 23:09

最近恰好在研究则个，过来看看

叫什么好嘞 · 发表于 2016-7-1 23:15

支持一下，谢谢楼主分享

春风秀才 · 发表于 2016-7-1 23:17

提示: 作者被禁止或删除内容自动屏蔽

风轩汐 · 发表于 2016-7-1 23:32

谢谢@Thanks！

借过流年 · 发表于 2016-7-1 23:34

谢谢分享

冷孤幽 · 发表于 2016-7-1 23:34

楼主你这好像只是爬取URL的吧？利用Python可以很轻松的办到，不过还是支持楼主，希望楼主继续努力

冷孤幽 · 发表于 2016-7-1 23:35

楼主你这好像只是爬取URL的吧？利用Python可以很轻松的办到，不过还是支持楼主，希望楼主继续努力.

帐号		自动登录	找回密码
密码			注册[Register]

春风秀才春风秀才当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	春风秀才发表于 2016-7-1 23:17 提示: 作者被禁止或删除内容自动屏蔽
春风秀才春风秀才当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽
	回复支持举报

[原创工具] 【2016/10/30 大更新】网页爬虫【内核重写，可靠性、性能提升】【开源】

点评

免费评分