Bots uitsluiten van crawlen htaccess

Bots uitsluiten van crawlen htaccess

Heb je veel last van verkeer van een crawl bot, zoals bijv.
    18-214-124-6.crawl.amazonbot.amazon
    44-208-193-63.crawl.amazonbot.amazon
    3-213-85-234.crawl.amazonbot.amazon
    23-21-175-228.crawl.amazonbot.amazon

Sluit deze bot dan uit via .htaccess
    # Blokkeer de Amazonbot
    RewriteCond %{HTTP_USER_AGENT} Amazonbot [NC]
    RewriteRule .* - [F,L]

Bekijk Snippet