Die robots.txt-Datei: Das müssen Sie wissen

Eine „robots.txt"-Datei kann für eine Vielzahl von Dingen verwendet werden. Allem voran ist sie jedoch dafür da, Suchmaschinen aufzuzeigen, wohin diese auf einer Website navigieren müssen. Hierfür muss die Sitemap der Suchmaschine zu verstehen geben, welche Seiten zu crawlen und welche nicht zu crawlen sind. Zudem bildet die „robots.txt"-Datei ein grossartiges Tool, um das jeweilige Crawl-Budget zu verwalten.

Ein Crawl-Budget wird von Google verwendet, um effektiv zu crawlen und Ihre Seiten zu indexieren. Denn so gross wie Google auch sein mag, es existiert auch heute nur eine begrenzte Anzahl von Ressourcen. Hat Ihre Website nur hundert URLs, dann sollte Google in der Lage sein, die Seiten leicht zu durchsuchen und zu indexieren.

Ist Ihre Website jedoch sehr gross (was oft bei E-Commerce-Sites der Fall ist) und Sie verfügen über Tausende von Seiten mit etlichen automatisch generierten URLs, so ist es Google nicht möglich, all diese Seiten zu durchsuchen. Infolgedessen werden Ihnen Traffic und Sichtbarkeit verloren gehen. Sind also viele Seiten vorhanden müssen Sie festlegen, welche dieser Seiten Sie priorisieren und indexieren lassen.

Google hat bereits zuvor mitgeteilt, dass viele URLs mit geringem Mehrwert das Crawlen und die Indexierung einer Website negativ beeinflussen können.

Somit bildet die Indexierung einer „robots.txt"-Datei einen wichtigen Faktor, der das Crawl-Budget Ihrer Website massgeblich prägt. Die Datei hilft Ihnen dabei Ihre Seiten zu verwalten und sicherzustellen, dass Suchmaschinen Ihre Website so effizient wie möglich crawlen.

Warum ist eine „robots.txt"-Datei relevant?

Bevor ein Crawler wie bspw. der Googlebot oder der Bingbot eine Website durchsucht, überprüft dieser zunächst, ob eine „robots.txt"-Datei existiert. Ist eine solche vorhanden, so folgen die Crawler in der Regel den Anweisungen, die in dieser Datei gefunden wurden.

Eine „robots.txt"-Datei stellt dementsprechend ein mächtiges Tool hinsichtlich SEO dar. Sie bietet eine tolle Möglichkeit das Indexierungs-Verhalten von Bots zu steuern.

Wird die „robots.txt"-Datei richtig eingesetzt, haben Sie die folgenden Optionen:

• Sie können verhindern, dass bestimmte Dateien auf Ihrer Website (Bilder, PDFs, etc.) indexiert werden.
• Sie sind in der Lage Zugriffe auf ganze Bereiche Ihrer Website (Entwicklungs- und Stagingumgebung usw.) zu sperren.
• Sie können die Position Ihrer Sitemap festlegen.
• Sie wissen, wie Sie das Crawl-Budget durch Sperrung des Zugriffs auf Seiten mit geringem Wert (Login, Danke, Einkaufswagen usw.) optimieren.

Überprüfen Sie, ob eine „robots.txt"-Datei vorhanden ist

Wenn Sie sich nicht sicher sind, ob Ihre Website überhaupt eine „robots.txt"-Datei besitzt, können Sie dies ganz leicht überprüfen. Alles, was Sie hierfür tun müssen, ist die Haupt-Domain Ihrer Website aufzurufen und dann „/robots.txt" am Ende der URL hinzuzufügen. Beispiel: www.beispielseite.ch/robots.txt
Wenn nichts auftaucht, dann verfügen Sie über keine „robots.txt"-Datei auf Ihrer Website.

Beachten Sie bzgl. „robots.txt"-Dateien die folgenden Dinge

• Stellen Sie sicher, dass alle wichtigen Seiten durchsucht werden können und Inhalte, die keinen Mehrwert bieten, blockiert werden.
• Blockieren Sie keinesfalls die JavaScript- und CSS-Dateien Ihrer Website.
• Führen Sie immer wieder eine kurze Überprüfung der „robots.txt"-Datei durch, um sicherzustellen, dass sich nichts verändert hat.
• Achten Sie auf die korrekte Grossschreibung von Verzeichnis-, Unterverzeichnis- und Dateinamen.
• Legen Sie die „robots.txt"-Datei in das Stammverzeichnis Ihrer Website, damit sie gefunden wird.
• Die „robots.txt"-Datei muss zwingend mit "robots.txt" bezeichnet werden.
• Verwenden Sie die „robots.txt"-Datei nicht, um private Benutzerinformationen auszublenden, da diese weiterhin sichtbar sind.
• Fügen Sie Ihren Sitemap-Standort zu Ihrer „robots.txt"-Datei hinzu.
• Stellen Sie sicher, dass Sie keinerlei Inhalte Ihrer Website blockieren, die Sie durchsucht haben möchten.

Das Einbinden einer „robots.txt"-Datei zahlt sich aus

Indem Sie Ihre „robots.txt"-Datei richtig einbinden, helfen Sie Suchmaschinen-Bots, Ihre Website sinnvoll und effizient zu crawlen. Dies ist relevant, um ein solides Ranking in den SERPs zu erzielen.

Beachten Sie, dass es nicht unbedingt viel Zeit und Mühe erfordert, eine „robots.txt"-Datei einzurichten. In den meisten Fällen handelt es sich um ein einmaliges Setup, bei dem Sie fortlaufend je nach Bedürfnis kleine Optimierungen und Änderungen vornehmen können.

Hoffentlich ermutigt Sie dieser Beitrag und gibt Ihnen das nötigte Vertrauen, eine „robots.txt"-Datei in Ihrer Website einzubinden. Sie werden es nicht bereuen.

Online Marketing sollte mit all seinen Facetten, wie etwa Suchmaschinenoptimierung (SEO), Google Ads (SEA), Social Media Marketing, Growth Hacking, Inbound-Marketing, etc. Dein Business keinesfalls verkomplizieren. Ganz im Gegenteil: Viel eher sollte Digital Marketing einen weiteren Kanal bilden, mit dessen Hilfe Du Produkte und Dienstleistungen vermehrt Kunden näherbringen kannst.

Hier kommt die Online Marketing Factory AG ins Spiel. Bei uns erhältst Du wertvolle Tipps sowie Best-Practice-Beispiele, die Dich in Deinem Digital Marketing unterstützen. Unter den unterschiedlichen Online Marketing-Massnahmen wie Newsletter-Versand, Anzeigenschaltung, Social Media-Posts, etc. ermitteln wir für Dich die Passenden und setzen diese erfolgreich um.

Du möchtest keine Sekunde länger warten und jetzt gleich mit der Optimierung Deines Online Marketings beginnen? Dann melden Dich telefonisch oder via Mail bei uns. Wir freuen uns über Deine Kontaktaufnahme!