# Jeder Roboter soll alles auf diesem Server indexieren.
User-agent: *
Disallow:
# Roboter sollen 10 Sekunden warten bis sie wieder zugreifen, Standard ist oft 1 Sek.
Crawl-delay: 10

# Folgende Roboter nicht erlauben: 

# Baidu.com (chinesischer SuchBot) nicht erlauben. Sie greifen viel zu oft zu. Baiduspider/2.0; +http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /

# SemrushBot/1.1~bl; +http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /

# XoviBot/2.0; +http://www.xovibot.net/
User-agent: XoviBot
Disallow: /