LNMP下禁止无用User Agent抓取网站

LNMP环境是VPS评测与排名网最喜欢的WEB环境,也一直用LNMP搭建网站使用。前几天查看网站的日志发现,不少眼生的爬虫使劲的爬网站,搜索了下,这些爬虫根本没有,基本都是垃圾爬虫。

为了禁止垃圾User Agent爬虫抓取网站,达到节省宽带和节省资源的目的,就得想办法禁止垃圾User Agent爬虫来抓取自己的网站了,这里分享下LNMP即NGINX下是如何实现禁止无用User Agent抓取网站的。

在/usr/local/nginx/conf/rewrite目录下新建agent_deny.conf文件【特别提醒这个目录是最新版lnmp1.5版本】,内容如下: 继续阅读