求一个稳定的定向爬取wx公众号文章方案

一念苍穹变

大佬们，之前一直是通过中间人代{过}{滤}理去抓取指定公众号的文章列表，链接如下：https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=MzI4NjQyMTM2Mw==&scene=124#wechat_redirect，最近爬取公众号数量增到500个左右，直接封了wx号这个链接的访问权限。
然后查到了一个方案，通过注册公众号，根据文章创作草稿箱去检索指定的公众号文章。方案链接如下：https://blog.csdn.net/jingyoushui/article/details/131613819。这种方案个人感觉有风险，容易封号。并且cookie和token暂时没方案自动更新，需要在失效时人工替换。
所以发帖请问大佬们现在有没有什么比较成熟的方案？主要需求就是实时/定时爬取指定公众号的最新文章/文章链接，先谢过大佬

baliao

我上次获取一个公众号2000+视频就是采用你说的 注册公众号，根据文章创作草稿箱去检索 公众号文章, 将文章链接写入到excel中, 然后读excel 后另外再去下载视频.  爬取太多了就会提示远程关闭访问,就需要重来.
如果公众号固定,更新的不多, 每次爬取的也不多.

阿伟de大长腿

我有做这个东西，不封号，可以定时获取最新的文章，感兴趣私我看

一念苍穹变

baliao 发表于 2024-6-18 21:25
我上次获取一个公众号2000+视频就是采用你说的 注册公众号，根据文章创作草稿箱去检索 公众号文章, 将文章 ...

更新确实不多，但是基本上每天每个公众号最少得抓一次列表。重来别的都好说，就这个扫码登录这步太无解了。

8taizi

这种格式你要的话我给你帮你抓

8taizi

你的广告费去哪了？揭秘Facebook广告的12个“隐形杀手”！        http://mp.weixin.qq.com/s?__biz=MzkzODQ5NDQ0MA==&mid=2247498091&idx=1&sn=16b24aadb56f96a3c9d050fc7d924e0b&chksm=c3b02f503dea8028f99658ed2ec97a4d83380f359967992adadef5bcf55fb0ec7ffc8c0d5ac4&scene=126&sessionid=0#rd        经验之谈：预算不浪费，效果翻倍，怎么做到的？        https://mmbiz.qpic.cn/sz_mmbiz_jpg/djV9Piaibg4Dp10fdPBiaCj06zq0RggLIOPEFZH0rqy0dyFqxpTynxKCQl9Xe5dGEmRDkoT9hLOoBcCeJDiayubKkQ/640?wxtype=jpeg&wxfrom=0        2024-06-19T18:02:31        1718791351        阅读128, 点赞1, 旧点赞0, 评论null, 分享11
第一时间Get行业流行趋势？93%成功广告商都用TikTok广告库！        http://mp.weixin.qq.com/s?__biz=MzkzODQ5NDQ0MA==&mid=2247498090&idx=1&sn=2a2fc90bdef673912cffdd5b976c8cf1&chksm=c335bd67152e1b421830a2432c03809cf6615f3f2d7fd02f51de693d7db14a6d6c83a1a13994&scene=126&sessionid=0#rd        入局TikTok的流量玩法，建议收藏~        https://mmbiz.qpic.cn/sz_mmbiz_jpg/djV9Piaibg4Doj5iaa1AiaicgvXGN01tkf8lVkaxH02SvTH20MvsUrBeejhUablsLw2JLkFsIayQq5P8icwuxJXMXicrA/640?wxtype=jpeg&wxfrom=0        2024-06-18T18:01:06        1718704866        阅读111, 点赞1, 旧点赞0, 评论null, 分享14
数据为证：旅行社预订量5倍增长，竟是因为Google广告？        http://mp.weixin.qq.com/s?__biz=MzkzODQ5NDQ0MA==&mid=2247498068&idx=1&sn=d7b14e3de8baf6a7d6b45e0a059021ab&chksm=c3ee5cfdbdac226f55a171488cf60969550ff5ac7a8dae32eaf4ac6d67a00585c5ddac9877bc&scene=126&sessionid=0#rd        旅行社也能“火”起来！盘点一下都有哪些幕后操作~        https://mmbiz.qpic.cn/sz_mmbiz_jpg/djV9Piaibg4DrBxd8gDFp1sElY7DEXJRTwcmYz5KU47O6gDqPdAUKkqosmpBZ6SPvYydlx8X4IJEFFuuxjKlzxfg/640?wxtype=jpeg&wxfrom=0        2024-06-17T18:01:33        1718618493        阅读68, 点赞1, 旧点赞1, 评论null, 分享12
限时可见｜揭秘出海电商如何突破百万英镑大关？详细攻略来了！        http://mp.weixin.qq.com/s?__biz=MzkzODQ5NDQ0MA==&mid=2247497871&idx=1&sn=088e79fdef84cf60b97c8c7c2f295aeb&chksm=c3157db7f6b3643696f597b790b70198c9c3d0a594858d993fc739efa1eb6b2b10b448b2d7ce&scene=126&sessionid=0#rd        ROAS增长5.4倍，吸引92,000+客户，这个出海企业都做了什么？        https://mmbiz.qpic.cn/sz_mmbiz_jpg/djV9Piaibg4DqJTowTSTJXQubq3Yhv8Xo6Puqu02TqxribRdsPpvMNU68bRcDNFsvNicRVmWMlrpw2kttyejoVagBw/640?wxtype=jpeg&wxfrom=0        2024-06-14T18:00:59        1718359259        阅读59, 点赞3, 旧点赞1, 评论null, 分享7
超干货！5个被问了800遍的TikTok未转化警告信号，一次性回答~        http://mp.weixin.qq.com/s?__biz=MzkzODQ5NDQ0MA==&mid=2247497825&idx=1&sn=2457131b3e72cd93ed462bab4d9f57aa&chksm=c324563aeabf4eb199dbb8625a8a738d96516def8ca7ceab7885d15098212dbfe1f239b7664d&scene=126&sessionid=0#rd        投手必看！TikTok广告转化攻略精选来了        https://mmbiz.qpic.cn/sz_mmbiz_jpg/djV9Piaibg4DqJTowTSTJXQubq3Yhv8Xo6b06RHiahPaIibPR5wO2BJgGpaUPAO7qCEJTYEaoRAa3CAuKQaSs4mUpQ/640?wxtype=jpeg&wxfrom=0        2024-06-13T18:03:02        1718272982        阅读120, 点赞2, 旧点赞0, 评论null, 分享20
谁说投广告就是烧钱？电商大佬年中Facebook广告投放策略最新公布！        http://mp.weixin.qq.com/s?__biz=MzkzODQ5NDQ0MA==&mid=2247497794&idx=1&sn=dcac07529db03960b0e7b31f80000945&chksm=c333ea4bc971de075382e20434f8edf8576914653b9db4c782bbd966f6d472280adadee73fa2&scene=126&sessionid=0#rd        2024年最新公布投放策略篇，试试这6个策略        https://mmbiz.qpic.cn/sz_mmbiz_jpg/djV9Piaibg4Do5jGXWZyyPN13OzWexcfpiaXEJia9Nh0x0pXXHO77hz3WOCSGCT1Ria1DTria6fmHCeEFT7pL0VcFEBg/640?wxtype=jpeg&wxfrom=0        2024-06-12T18:00:40        1718186440        阅读167, 点赞2, 旧点赞1, 评论null, 分享14

一念苍穹变

8taizi 发表于 2024-6-20 16:56
这种格式你要的话我给你帮你抓

大佬，还是想要一个方案可以定时提取到最新的链接。如果只是历史数据问题倒是不大，通过公众号那个方案也可以抓到

8taizi

一念苍穹变 发表于 2024-6-21 00:52
大佬，还是想要一个方案可以定时提取到最新的链接。如果只是历史数据问题倒是不大，通过公众号那个方案也 ...

最新的链接？是指最新的文章吗

一念苍穹变

8taizi 发表于 2024-6-21 09:36
最新的链接？是指最新的文章吗

是的，要定时获取最新文章

iprogramer

阿伟de大长腿 发表于 2024-6-19 10:13
我有做这个东西，不封号，可以定时获取最新的文章，感兴趣私我看

大佬，请问如何实现