原创 青小蛙 2025-09-01 19:31 四川
最近服务器很崩溃,带宽占满、CPU 狂飙,看日志,全部是爬虫...
就很尴尬。
你说你爬虫就老老实实爬,我也不管你,结果你把我服务器干趴下了,那大家都没得好啊。
(前几天某爬虫更夸张,一次性来上百个过来趴,我把整个 /24 IP 段给屏蔽了,瞬间就好了。解释下 /24 IP 段,打个比方,192.168.1.0~192.168.1.255,这200多个IP,就是可以用 192.168.1.0/24 表示。)
然后今天下午...我自己被屏蔽了 
我...
之前设计1000次访问的时候,我就想着,只要我自己没被屏蔽,那么正常人类应该没问题
结果,还是被挡住了。
不过在帖子下面: https://meta.appinn.net/t/topic/74708
好多同学给了新的主意,比如:
有推荐用 WAF 的、kong gateway,套一个CF,套腾讯免费cdn的,fail2ban,等等。
说起来腾讯哪个 edgeone 挺好,但是我注册了账号,没有搞定实名认证...
哎,说多了都是泪。
