Apache禁止指定user_agent(防止爬虫扒取)
该功能可以禁止部分我们不需要的访问名单(),通过改写rewrite模块来实现。
成都创新互联公司长期为上千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为夏县企业提供专业的成都做网站、网站建设,夏县网站改版等技术服务。拥有十余年丰富建站经验和众多成功案例,为您定制开发。
tail /tmp/
tail /usr/local/apache2/logs/test.com-access_20150121_log
在rewrite模块中添加如下信息:
RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*chrome* [NC]
RewriteRule .* - [F]
保存退出
测试
apachectl -t
apachectl restart
curl -x127.0.0.1:80 www.test.com/data/forum.php(默认403错误)
curl -x192.168.11.160:80 www.test.com/data/forum.php(默认403错误)
vi /usr/local/apache2/conf/extra/httpd-vhosts.conf(注释掉)
# RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]
apachectl -t
apachectl restart
curl -x192.168.11.160:80 www.test.com/adsjkf(404)
curl -x192.168.11.160:80 www.test.com/forum.php -I(200)
浏览器 www.test.com
curl -A "sdfsadsdfa" -x192.168.11.160:80 www.test.com/forum.php -I
curl -A "sdfsadchrome sdfa" -x192.168.11.160:80 www.test.com/forum.php -I
标题名称:Apache禁止指定user_agent(防止爬虫扒取)
链接地址:http://myzitong.com/article/jgpogs.html