【Go】爬虫框架 predator 完成了近 80%，可以使用了

thepoy · 发表于 2021-7-29 23:39

当前只有数据库连接和缓存两个功能尚未完成。
goroutine 池刚刚添加。
有兴趣的朋友可以体验一下，欢迎提一些意见或者建议。
predator

Wits · 发表于 2021-7-29 23:48

提示: 作者被禁止或删除内容自动屏蔽

LDF806 · 发表于 2021-7-30 00:09

支持支持

绫织梦 · 发表于 2021-7-30 00:41

之前写过一段时间的Go，感觉确实不错（除了网络原因…）
之前写爬虫一直是Py…我又确实不喜欢Py的缩进…
如果能代替Py的一些爬虫库就太棒啦！

manchengdiewu · 发表于 2021-7-30 01:29

感觉看的有点懵

stu2162583 · 发表于 2021-7-30 08:34

感谢大佬分享，已star

aud · 发表于 2021-7-30 08:45

不错不错

thepoy · 发表于 2021-7-30 08:56

stu2162583 发表于 2021-7-30 08:34
感谢大佬分享，已star

感谢支持

侃遍天下无二人 · 发表于 2021-7-30 09:02

go语言中是不是没有方法重载呀，不然那些传nil的应该可以用重载一个参数较少的版本替代，另外提个建议，修补请求头的时候检查下用户是否已经设置过了，如果设置过就不要替换成预设的值

thepoy · 发表于 2021-7-30 09:42

本帖最后由 thepoy 于 2021-7-30 09:46 编辑

侃遍天下无二人发表于 2021-7-30 09:02
go语言中是不是没有方法重载呀，不然那些传nil的应该可以用重载一个参数较少的版本替代，另外提个建议，修 ...

感谢建议。
Go 不支持方法重载。
因为每个请求都会创建一个新的 request，在 BeforeRequst 中是为每个 request 设置请求头，应该不存在已设置过（除非是 UA 或 Cookie）。您所说的“检查是否已经设置过”是不是建立在可复用的 request 基础上呢？
我正在考虑 request 是不是应该可复用。

帐号		自动登录	找回密码
密码			注册[Register]

Wits Wits 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	Wits 发表于 2021-7-29 23:48 提示: 作者被禁止或删除内容自动屏蔽
Wits Wits 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	【吾爱破解论坛总版规】 - [让你充分了解吾爱破解论坛行为规则]
	回复支持举报

[其他原创] 【Go】爬虫框架 predator 完成了近 80%，可以使用了

免费评分