java爬虫学习的web小项目

三木猿 发表于 2020-11-26 10:55

写了个小的一批的小说爬虫web项目，能够配置多个数据源，理论上很多小说网站都能加进去，有兴趣的可以完善下{:301_1010:}
下载：

{
"顶点": {
"请求类型": "POST",
"URL": "http://www.ddxs.com/",
"搜索URL": "http://www.ddxs.com/search.php",
"搜索字段": "keyword",
"正则匹配目录": "<a href=\"/bookCode/(.*?)</a>",
"内容页获取id": "contents",
"搜索页标签": "table"
},
"笔趣阁5200": {
"请求类型": "GET",
"URL": "https://www.biquge5200.com/",
"搜索URL": "https://www.biquge5200.com/modules/article/search.php",
"搜索字段": "searchkey",
"正则匹配目录": "<a href=\"https://www.biquge5200.com/bookCode/(.*?)</a>",
"内容页获取id": "content",
"搜索页标签": "table"
},
"笔趣阁": {
"请求类型": "GET",
"URL": "https://www.biquge.com/",
"搜索URL": "http://www.biquge.com/searchbook.php",
"搜索字段": "keyword",
"正则匹配目录": "<a href=\"/bookCode/(.*?)</a>",
"内容页获取id": "content",
"搜索页标签": "dl"
}
}

tsecond 发表于 2020-11-26 10:58

嗯看着不错！学习一下

magicmen 发表于 2020-11-26 11:20

谢谢分享，学习一下

newjre 发表于 2020-11-26 11:22

谢谢分享，学习一下

不忘形影 发表于 2020-11-26 12:31

可以学习了

huadao 发表于 2020-11-26 12:43

学习一下，感谢分享

HighBox 发表于 2020-11-26 12:50

咋还用到了·swagger

HighBox 发表于 2020-11-26 12:54

楼主，去开源到GitHub吧

回忆童年快乐 发表于 2020-11-26 12:59

用爬虫框架了么，还是自己写的，我用的webmagic

三木猿 发表于 2020-11-26 13:32

HighBox 发表于 2020-11-26 12:50
咋还用到了·swagger

测试接口好用呀

页: [1] 2

吾爱破解 - 52pojie.cn's Archiver

java爬虫学习的web小项目