Dis
Гость
Чем дальше в лес, тем толще партизаны Наверно все возможные боты,конечно, проблема не только OSclass. Тем не менее, одолевают усердно, излишне нагружая хостинг и т.д. Решений полно, но далеко не все написаны правильно. Поэтому решил привести один из правильных примеров блокировки с помощью модуля mod_setenvif и htacess:
И потом сидим любуемся
Как надоедливый AhrefsBot получает от ворот поворот.
При запросе страницы, в access логе видим 403.
При прямом запросе картинки в error логе client denied by server configuration.
Код:
#<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent "AhrefsBot" bad
SetEnvIfNoCase User-Agent "MJ12bot" bad
SetEnvIfNoCase User-Agent "rogerbot" bad
SetEnvIfNoCase User-Agent "Kraken" bad
SetEnvIfNoCase User-Agent "PaperLiBot" bad
SetEnvIfNoCase User-Agent "GrapeshotCrawler" bad
SetEnvIfNoCase User-Agent "Butterfly" bad
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad
</Limit>
#</IfModule>
Как надоедливый AhrefsBot получает от ворот поворот.
При запросе страницы, в access логе видим 403.
При прямом запросе картинки в error логе client denied by server configuration.