Hallo alle zusammen,
ich versuche bisher erfolglos unerwünschte Bots auf unserer Seite auszusperren. Erst habe ich es mit der robots.txt mit Folgenden versucht:
User-agent: MJ12bot Disallow: /
etc. Dies hat nicht funktioniert, daher habe ich es nun mit der htaccess versucht. Da steht Folgendes:
RewriteEngine On
RewriteCond %{SERVER_PORT} !=443
RewriteRule ^(.*)$ https://www.domain.com/$1 [R=301,L]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^BaiDuSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Sogou [OR]
RewriteCond %{HTTP_USER_AGENT} ^SeznamBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex
RewriteRule ^.* - [F,L]
Leider hält auch das die unerwünschten Bots nicht fern und sie crawlen fleißig weiter. Habt ihr eine Idee oder steckt ein Fehler in der htaccess?