Individuelle Webentwicklung

Nicht immer ist eine Standardsoftware ausreichend um individuelle Anforderungen gerecht zu werden, wir schaffen Lösungen

Informationen
Bild: Individuelle Webentwicklung

„robots.txt“ wirklich notwendig?

robots.txt wirklich notwendig?

Eine robots.txt-Datei ist nützlich, um das Crawling und Indexieren des Contents durch Suchmaschinen zu steuern und einzuschränken. Ist eine robots.txt-Datei jedoch auch nötig, wenn man überhaupt keine Crawling-Einschränkungen haben möchte?

„Was ist besser? Eine leere robots.txt-Datei, eine robots.txt-Datei mit „User Agent: * Disallow“ ohne Einschränkungen oder gar keine robots.txt-Datei?“

Die beiden ersten Varianten sind die besten. Keine „robots.txt“-Datei zu haben, ist ein bisschen riskant. Nicht allzu riskant, aber schon ein bisschen. Ohne Datei gibt manchmal der Webhost die 404-Fehlermeldung aus, und das kann zu sehr seltsamem Verhalten führen. Google endeckt so etwas ohne Probleme, also liegt auch hier das Risiko bei nur 1 %.

Wenn möglich sollte man aber eine robots.txt-Datei verwenden. Ob sie leer ist oder ob ihr festlegt „User-Agent: * Disallow“ ohne Einschränkung, was heißt, dass jeder alles crawlen kann, ist ziemlich egal. In syntaktischer Hinsicht behandeln wir beide genau gleich.

Google empfielt „User-Agent: * Disallow:“, weil eindeutig festgelegt ist, dass alles gecrawlt werden darf. Wenn sie leer ist, dann… Es war offensichtlich kein Problem, die robots.txt-Datei zu erstellen, deshalb wäre es toll, diesen Hinweis zu haben, der sagt: „Genau so, wie es hier steht, soll das Verhalten aussehen“. Es könnte ja auch sein, dass jemand aus Versehen den gesamten Inhalt der Datei gelöscht hat.

Wenn ich die Wahl hätte, würde ich mich für eine robots.txt-Datei mit „User-Agent: *“ entscheiden, in der alle Einschränkungen genau festgelegt sind. Ich denke aber, eine leere Datei ist vollkommen OK. Komplett ohne Datei besteht das wirklich geringe Risiko, dass euer Webhost seltsam oder ungewöhnlich reagiert, z. B. mit der Meldung „Sie haben keine Berechtigung, diese Datei zu lesen“. Dann wird’s komisch.

Welche Erfahrungen habt Ihr mit der robots.txt gemacht?

 

  • Quelle: Google Blog