Fertige Robots.txt mit den nervigsten Crawlern?

[Wulfman]

Hallo,

da ich von meinem Provider kürzlich darüber informiert wurde, dass ein Crawler oft von mehreren IP´s aus häufig auf meine Domains zugreift, hat er mir empfohlen ihn in der Robots.txt zu verlangsamen oder ganz zu blocken.

Die Idee ist natürlich gut, aber um Nägel mit Köpfen zu machen frage ich mich, ob es nicht bereits erfahrene Robots.txt - Ausschließer gibt, die sich eine schöne Liste der nervigsten Crawlern zusammengestellt haben, um hier gleich mehrere Fliegen mit einem Schlag zu erwischen?

Habe bei Google danach gesucht, aber nix vernünftiges gefunden. Habt ihr einen Tipp? Sind Eure Robots.txts gut gefüllt oder gar nicht?

P.S. In meinem Fall geht es um den Crawler CCBot/1.0

Vielen Dank

 

[m.beier]

Eine fertige robots.txt kann ich dir nicht liefern, aber vielleicht ein paar Links, die schon mal grundsätzlich weiterhelfen:
http://www.commoncrawl.org/bot.html
The Web Robots Pages
Bots vs Browsers - Public Bots and User Agents Database and Commentary

und ansonsten auch mal hier schauen:
http://www.bot-trap.de/home/

 

[O. Jemineh]

Ich kenn mich mit dem Thema leider auch nicht gut genug aus und kann daher nicht beurteilen, ob gut oder schlecht, aber hier findest du ganz unten eine robots.txt von Abakus. Vllt hilfts ja weiter.
Robots.TXT richtig gemacht - Robots-Datei für Suchmaschinen erstellen

 

[Wulfman]

Danke für die Infos!

 

[Sn0w]

hab hier eine mit ner menge bots... allerdings keine garantie auf vollständigkeit... da musste dann nochmal schauen...

gruß ronny

 

[domainhengst]

hab hier eine mit ner menge bots... allerdings keine garantie auf vollständigkeit... da musste dann nochmal schauen...

gruß ronny

Wäre es da nicht einfacher eher sowas zu machen:

User-agent: Googlebot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: *
Disallow: /

Also Whitelist statt ewiger Blacklist

 

[Sn0w]

lar kann man das auch so machen... musst halt nur reinschreiben wer alles darf und der rest wird geblockt... wie war das... viel wege führen nach rom

gruß
ronny

 

[m0f]

Crawler, die ihr gar nicht haben wollt, solltet ihr vielleicht gleich per .htaccess hardcoded aussperren, denn die Berücksichtigung der robots.txt ist nicht zwingend, sondern optional.