吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 26084|回复: 75
收起左侧

[其他原创] 爬虫-地图poi信息采集

  [复制链接]
pzx521521 发表于 2018-6-28 18:12
本帖最后由 pzx521521 于 2019-4-17 12:02 编辑
2019.4.17 更新

增加查看地区分布功能
示例
示例2
https://share.weiyun.com/5uiGnzI

10.11号更新

增加geo
仅仅修改了配置文件 如果不想重新下载 自己在配制文件自己加一下就好了
[Col]下面增加
geo=地理位置|100
[baidu]下面增加
geo=geo
链接: https://pan.baidu.com/s/12shCVwYvuN5cMMnimO78mw 提取码: 776n

8.07号更新
  • 修正高德地图显示
8.03号更新
  • 电话不能显示问题(原因配置文件tel多写了一个";")
  • 增加最大值(默认采集500条结束)
  • 增加图片



Say

之前看到有人要这个,  之前的还是破解的还不能用了, 网上搜了一下原理,发现就是一个爬虫....
因为涉及到界面,使用delphi/C#方便一点, 此处使用delphi.
后来想了一下, 或许最简单的是纯前端js+html.有兴趣的童鞋可以做一下,
因为时间问题就做了百度和高德的另外两个没做,有兴趣的可以补一下配置文件

ps.

因为原理简单, 就是爬虫, 所以开始设计的时候想的是一切皆可配置, 后来发现 仅仅百度和高德的接口 需要的参数个数都不一样, 放弃.
本来想用一部分js代替一部分不好配置/理解的 配置, 原理是使用windows的Ole的ScriptControl
因为在传递过长的json的时候js会解析不出来. json短的时候是可以的.加了json2.js 也不行,放弃

配置文件解读

[Form]
height=530
width=950

窗体大小

[Col]
name=名字|200

列,配置几列显示几列 第一个为filedName 一二个Caption 第三个列宽

[url]
baidu=https://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=pc4.1&qt=con&from=webmap&c=%area%&wd=%searchkey%&wd2=&pn=%pageNumber%&nn=%startNumber%&db=0&sug=0&addr=0

这个就是要爬的网站,  这里配置几个 界面上显示几个
有几个特殊标记是用来替换爬虫地址的
;c=%area% 地区 详见***City  z.B...baiduCity
;wd=%searchkey% 要搜索的字符串
;pn=%pageNumber% 第几页
;nn=%startNumber% 从第几个开始(百度特有的)

[baidu]
count=result.total
page=10
list=content
addr=addr
tag=di_tag
tel=tel;
area_name=area_name

这里的百度对应着[url]中的baidu
count~area_name对应着[Col]中的FiledName
等号后面是解析获取到数据解析Json时候的数据
count=result.total
page=10
list=content
这三个是特殊的 必须配置的
分别是总条数(count)  和 每页有多少个数据 (page)  以及内容列表在那(list)
除了page 以外 其它都是Json中的位置

[baiduCount]
count=result.total
page=10
list=content
name=name
ext_info=ext_info

因为百度/高德都不允许不给省份/市区就查找   如果不给的话就显示出各个地区有多少个结果  意思和[baidu]一样的  就是因为返回的json数据不同,我们要提取和显示的地方也不同而已

[baiduCity]
拉萨市=100

这个就是百度城市对应的编码  get url的时候要用, [baiduCity] 中的 baidu 对应着[baidu]和[url]中的baidu

[gaodeCity]
上海市=310000

同理 高德用的邮政编码 不传城市的时候会返回给你


链接: https://pan.baidu.com/s/18Kzm85KopVPtNgDYCHrcrw 密码: 9q2f

免费评分

参与人数 15吾爱币 +17 热心值 +14 收起 理由
wushaominkk + 5 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
qct8858198 + 1 + 1 谢谢@Thanks!
longsenzhi + 1 + 1 谢谢@Thanks!
hackes + 1 + 1 用心讨论,共获提升!
KUKI + 1 + 1 谢谢@Thanks!
58428776 + 1 + 1 鼓励转贴优秀软件安全工具和文档!
一世浮华 + 1 + 1 谢谢@Thanks!
1650970682 + 1 + 1 谢谢@Thanks!
yibuquliu + 1 + 1 感谢大佬 谢谢@Thanks!
dirl + 1 + 1 我很赞同!
吊死在网上 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
sdafew000 + 1 我很赞同!
zhangxt0908 + 1 我很赞同!
ericjia + 1 + 1 我很赞同!
tongyao + 1 + 1 我很赞同!

查看全部评分

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

THn0_haller 发表于 2019-4-21 18:11
大佬,有个问题请问一下,爬取出来的经纬度格式好像不对啊,是因为在EXCEL里面打开的问题吗?还是需要转换具体是怎么样的?

例子:12014577.09,3047296.36;
这是其中一个弄出来的坐标,但是小数只是后面两位,我看好多网上的坐标是类似127.3215461231这样,前面比较大,后面小数可以转化为秒和分的。请问这个软件爬出来的要怎么转化啊
 楼主| pzx521521 发表于 2018-6-28 19:03
wksbb 发表于 2018-6-28 18:56
能搜到电话就完美了 谢谢楼主

有电话的   但是百度/高德 都是只有部分店有   只要网站上你可以看到电话,  这里也是有的
pdc9911 发表于 2018-6-28 18:20
头像被屏蔽
愚弄者fff 发表于 2018-6-28 18:26
提示: 作者被禁止或删除 内容自动屏蔽
wksbb 发表于 2018-6-28 18:56
能搜到电话就完美了 谢谢楼主
howardlee 发表于 2018-6-28 19:21
学习了,谢谢楼主
头像被屏蔽
aabb7711 发表于 2018-6-28 22:48
提示: 该帖被管理员或版主屏蔽
hucece325 发表于 2018-7-6 15:37
搜到的都是没有电话的啊   可以弄一个有手机的吗
kfj000 发表于 2018-7-9 08:57
能搜索到村庄名字和经纬度坐标就可以
叶子嘤咛 发表于 2018-7-9 11:16
可以作为配置型的.
处理的时候识别源是百度还是高德,调用不同的方法就是了
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-17 02:41

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表