REDAXO Forum

Weiß jemand wie genau ich bestimmten Robots den Zugriff auf meine Seite verbieten kann über die .htaccess (oder anders)?

Am liebsten würde ich alle Robots aussperren, und nur bestimmte zulassen, die ich vorher definiere. Geht das irgendwie?

hi,

das mache ich in der robots.txt, die sowieso niemals fehlen sollte, mit Disallow. Leider wirst Du die Robots einzeln beim Namen nennen müssen, denn ein Allow ist nicht definiert.

.htaccess und die nicht gewollten Bots (per IP-Range) aussperren ist der richtige Weg, Whitelisting gibts da leider nicht. robots.txt wird von den Nervbots mal direkt ignoriert.

Rüdiger

OK, schade - also gehe ich über die .htaccess, aber ich kann leider nicht speziellen Bots den Zugriff erlauben und alle anderen automatisch aussperren.

Naja, dann kommt da eben ein bisschen Arbeit. Danke für die Antwort!