小众软件 09月01日
服务器崩溃爬虫困扰
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

文章探讨了服务器因爬虫过度使用而崩溃的问题,以及作者尝试解决这一问题的经历,包括屏蔽IP段和使用WAF等。

原创 青小蛙 2025-09-01 19:31 四川

最近服务器很崩溃,带宽占满、CPU 狂飙,看日志,全部是爬虫...

就很尴尬。

你说你爬虫就老老实实爬,我也不管你,结果你把我服务器干趴下了,那大家都没得好啊。

(前几天某爬虫更夸张,一次性来上百个过来趴,我把整个 /24 IP 段给屏蔽了,瞬间就好了。解释下 /24 IP 段,打个比方,192.168.1.0~192.168.1.255,这200多个IP,就是可以用 192.168.1.0/24 表示。)

然后今天下午...我自己被屏蔽了 

我...

之前设计1000次访问的时候,我就想着,只要我自己没被屏蔽,那么正常人类应该没问题

结果,还是被挡住了。

不过在帖子下面: https://meta.appinn.net/t/topic/74708

好多同学给了新的主意,比如:

有推荐用 WAF 的、kong gateway,套一个CF,套腾讯免费cdn的,fail2ban,等等。

说起来腾讯哪个 edgeone 挺好,但是我注册了账号,没有搞定实名认证...

哎,说多了都是泪。

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

服务器崩溃 爬虫问题 网络攻击
相关文章