Nervende Suchroboter blocken (z. B. inktomisearch.com)

[Jo]

Hallo Homepage User!

Inktomi ist eine Suchmaschine, die auch andere Suchmaschinen beliefert und ich weiss nicht ob man sich darüber freuen sollte. Ich jedenfalls freue mich nicht und kann auf diesen Mist gut verzichten! Inktomi verfälscht extrem die Besucherzahlen, denn ich hatte pro Stunde bis zu 50 Inktomi Zugriffe!
>:D

Manche sagen nun vielleicht:
Du hast eine Homepage und willst keinen Traffic auf der Seite? Das ist doch Super wenn die Homepage in vielen Suchmaschinen eingetragen wird.

Das Problem beim Inktomi ist das, dass er bei grossen Projekten jede Menge Traffic produziert, aber die Seiten nur sehr langsam (wenn überhaupt) im Index erscheinen. Bei einer privaten Homepage ist das vernachlässigbar, aber wenn innerhalb von ein paar Tagen fast ein Gigabyte an Traffic alleine durch den Robot anfallen, dann ist das ärgerlich, weil teuer. Nicht jeder hat "unlimited traffic".

Des weiteren ist der Rücklauf über die Suchmaschine Yahoo sehr gering. Die meisten nutzen Google oder irgendwelche "lokalen" Suchmaschinen wie z.B. T-online, AOL etc.

Wem dieses also wie mich NERVT, kann diese Suchroboter einfach per .htaccess blocken. Beispiel:

Code Auswählen Erweitern

#
# Suchroboter die Nerven blocken
#
order allow,deny
deny from inktomisearch.com
deny from ask.com
allow from all

Apache-Webserver vorausgesetzt  ^-^

Beste Grüße,
Jo