网站 › 『编程语言区』 › 【Go】爬虫框架 predator 完成了近 80%，可以使用了

thepoy 发表于 2021-7-29 23:39

【Go】爬虫框架 predator 完成了近 80%，可以使用了

当前只有数据库连接和缓存两个功能尚未完成。
goroutine 池刚刚添加。
有兴趣的朋友可以体验一下，欢迎提一些意见或者建议。
(https://github.com/thep0y/predator)

Wits 发表于 2021-7-29 23:48

LDF806 发表于 2021-7-30 00:09

支持支持

绫织梦 发表于 2021-7-30 00:41

之前写过一段时间的Go，感觉确实不错（除了网络原因…）
之前写爬虫一直是Py…我又确实不喜欢Py的缩进…
如果能代替Py的一些爬虫库就太棒啦！

manchengdiewu 发表于 2021-7-30 01:29

感觉看的有点懵

stu2162583 发表于 2021-7-30 08:34

感谢大佬分享，已star

aud 发表于 2021-7-30 08:45

不错不错

thepoy 发表于 2021-7-30 08:56

stu2162583 发表于 2021-7-30 08:34
感谢大佬分享，已star

感谢支持

侃遍天下无二人 发表于 2021-7-30 09:02

go语言中是不是没有方法重载呀，不然那些传nil的应该可以用重载一个参数较少的版本替代，另外提个建议，修补请求头的时候检查下用户是否已经设置过了，如果设置过就不要替换成预设的值

thepoy 发表于 2021-7-30 09:42

本帖最后由 thepoy 于 2021-7-30 09:46 编辑

侃遍天下无二人 发表于 2021-7-30 09:02
go语言中是不是没有方法重载呀，不然那些传nil的应该可以用重载一个参数较少的版本替代，另外提个建议，修 ...
感谢建议。
Go 不支持方法重载。
因为每个请求都会创建一个新的 request，在BeforeRequst中是为每个 request 设置请求头，应该不存在已设置过（除非是 UA 或 Cookie）。您所说的“检查是否已经设置过”是不是建立在可复用的 request 基础上呢？
我正在考虑 request 是不是应该可复用。

查看完整版本: 【Go】爬虫框架 predator 完成了近 80%，可以使用了