Wie man WordPress robots.txt verwenden kann – Beste Praktiken und Beispiele

Die WordPress-Robots.txt-Datei ist für die Verbesserung der SEO Ihrer Website unerlässlich. Wenn Sie eine Robots-Datei verstehen und richtig konfigurieren, können Suchmaschinen besser mit Ihrer WordPress-Website interagieren.

In diesem Artikel führen wir Sie durch die Beste Praktiken und stellen Beispiele bereit, um sicherzustellen, dass Suchmaschinen Ihre Inhalte effektiv crawlen. Wenn Sie sich auf Schlüsselbereiche konzentrieren, können Sie die Leistung Ihrer Website und Sichtbarkeit in den Suchergebnissen verbessern.

WordPress verfügt über eine integrierte Funktion, die dynamisch eine robots.txt-Datei generiert – dabei handelt es sich nicht um eine physische Datei, die auf Ihrem Server gespeichert ist. Das bedeutet, dass WordPress auf eine Crawl-Anfrage von einem Suchmaschinen-Bot automatisch eine virtuelle Datei erstellt.

Das Blockieren des Crawlens einer Seite in robots.txt bedeutet nicht ausdrücklich, dass Google sie nicht indiziert, wenn andere Seiten darauf verlinken. Darüber hinaus Google empfiehlt die Verwendung anderer Methoden (wie „nofollow“), um das Seiten-Crawling einzuschränken.

Was steht in der robots.txt drin?

Die von WordPress generierte Standarddatei „robots.txt“ ist so konzipiert, dass Suchmaschinen-Bots den größten Teil Ihrer Website crawlen können. Gleichzeitig wird der Zugriff auf Bereiche eingeschränkt, die für WordPress SEO nicht von Vorteil sind oder vertrauliche Informationen enthalten.

Der von WordPress bereitgestellte standardmäßige virtuelle robots.txt-Inhalt sieht in etwa so aus:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Folgendes bedeuten diese Standardregeln:

• User-agent: *: Diese Zeile wendet die Regeln auf alle Webcrawler und Bots an, gekennzeichnet durch das Sternchen (*).
• Disallow: /wp-admin/: Weist Bots an, den WordPress-Administrationsbereich nicht zu crawlen. Dieses Verzeichnis ist für die Suchmaschinenindizierung nicht erforderlich und enthält private Informationen.
• Zulassen: /wp-admin/admin-ajax.php: Obwohl das wp-admin-Verzeichnis nicht zulässig ist, ermöglicht diese Zeile Bots ausdrücklich den Zugriff auf die Datei admin-ajax.php. Es dient der Bearbeitung asynchroner Anfragen am Frontend, auch wenn diese aus dem Admin-Bereich stammen.

Auswirkungen der robots.txt-Datei auf SEO

Die robots.txt-Datei spielt eine entscheidende Rolle bei der Suchmaschinenoptimierung für WordPress-Websites, da sie Suchmaschinen beim Crawlen des Inhalts anleitet. Eine richtig konfigurierte WordPress robots.txt stellt sicher, dass nur die wichtigsten Seiten gecrawlt werden und verbessert so deren Präsenz in den Suchmaschinenergebnissen.

Während die robots.txt-Datei keine direkte Auswirkung auf Rankings oder Seitengeschwindigkeit hat, beeinflusst sie doch, welche Webseiten indexiert werden. Websitebesitzer können es in Kombination mit dem Robots-Meta-Tag verwenden, um zu verhindern, dass Suchmaschinen bestimmte WordPress-Seiten oder -Abschnitte indizieren.

Darüber hinaus kann robots.txt durch die Kontrolle des Crawling-Verkehrs dazu beitragen, die Leistung der Website aufrechtzuerhalten. Darüber hinaus unterstützt es indirekt Core Web Vitals – eine Reihe von Metriken, die das Benutzererlebnis von Webseiten messen und SEO beeinflussen. Ausführliche Informationen finden Sie in diesem vollständigen Leitfaden zu Core Web Vitals.

Wie man die WordPress-Robots.txt-Datei finden kann

WordPress verfügt über eine Standard-Robots-TXT-Datei, die virtuell ist und nicht im Stammverzeichnis Ihrer Website vorhanden ist. Das bedeutet, dass Sie nicht über einen Dateimanager oder FTP-Client darauf zugreifen können.

Sie können es jedoch anzeigen, indem Sie in Ihrem Webbrowser auf eine ähnliche URL zugreifen.

https://yourdomain.com/robots.txt

Wenn Sie lieber Ihre eigenen Regeln für Webcrawler festlegen möchten, können Sie eine physische robots.txt-Datei erstellen.

Sobald Sie diese physische Datei in das Stammverzeichnis Ihrer Website hochladen, ersetzt sie die virtuelle Datei, die WordPress generiert.

Zugriff über das Yoast SEO Plugin

Die Verwendung eines Plugins vereinfacht die Verwaltung Ihrer robots.txt-Datei. Diese Methode ist für Websitebesitzer zugänglicher, die möglicherweise nicht so technisch versiert sind oder einen zentralisierten Ansatz für die Suchmaschinenoptimierung ihrer Website bevorzugen.

Sie können Ihre robots.txt-Datei mit Yoast SEO erstellen und darauf zugreifen. Befolgen Sie dazu die untenstehenden Schritte.

1. Melden Sie sich bei Ihrem WordPress-Dashboard an.
   
2. Installieren und aktivieren Sie das Plugin unter Plugins > Neu hinzufügen.
   

   

3. Navigieren Sie zu Yoast SEO > Extras und klicken Sie auf Dateieditor.
   

   

4. Robots.txt-Datei erstellen über die Schaltfläche.
   

   

5. Bearbeiten Sie die Datei und Speichern Sie die Änderungen.
   

   

Wie man eine Robots.txt-Datei in WordPress erstellen und bearbeiten kann

Die robots.txt-Datei ist eine einfache Textdatei (.txt), die von WordPress-Sites verwendet wird, um das Crawlen von Benutzeragenten zu steuern. Wenn Sie die Anweisungen der standardmäßigen virtuellen robots.txt anpassen möchten, können Sie Ihre eigene Datei manuell erstellen.

Beachten Sie, dass die von Ihnen erstellte robots.txt die virtuelle Datei von WordPress überschreibt.

Um Ihre WordPress robots.txt-Datei manuell zu erstellen, führen Sie die folgenden Schritte aus:

1. Erstellen Sie eine reine Textdatei mit einem beliebigen Texteditor, zum Beispiel Notepad. Oder melden Sie sich einfach beim Dateimanager Ihres WordPress-Hosting-Kontos an um die Dateibearbeitungsfunktion zu nutzen.
2. Suchen Sie den Stammordner Ihrer Website (public_html) und erstellen Sie eine Datei, indem Sie auf Neue Datei klicken Option.
   

   

3. Nennen Sie die Datei robots.txt und speichern Sie sie.
4. Bearbeiten Sie die Robots-Datei.
   

   

5. Fügen Sie in die leere Datei diese Roboteranweisungen ein:
   

   

User-agent: *

Disallow:

Sobald Sie bereit sind, können Sie die robots.txt-Datei auf Ihrem WordPress-Hosting über denselben Verzeichnispfad bearbeiten. Alternativ können Sie eine FTP-Verbindung verwenden, um robots.txt zu bearbeiten.

Wie man WordPress Robots.txt in einer site verwenden kann – Beste Praktiken

Die Beherrschung Ihrer robots.txt-Datei ist ein entscheidender Schritt für eine erfolgreiche WordPress-SEO. In diesem Teil gehen wir auf die Best Practices ein, die Such-Bots effektiv steuern. Implementieren Sie sie, um die Präsenz Ihrer Website im Google-Index zu verbessern.

Bleiben Sie bei uns und erfahren Sie, wie die richtigen robots.txt-Verschiebungen Ihre Suchleistung verbessern können.

Vollen Zugriff auf Suchmaschinen-Bots erlauben

Indem Sie Suchmaschinen-Bots vollen Zugriff auf die robots.txt-Datei gewähren, stellen Sie sicher, dass sie jeden Teil Ihrer Website erkunden und indizieren können. Dies kann die Sichtbarkeit und Durchsuchbarkeit Ihrer Website verbessern. Vollzugriff hilft Suchmaschinen, die Struktur und den Inhalt Ihrer Website zu verstehen, was möglicherweise zu besseren Rankings und mehr Verkehr führt.

Wenn Sie Suchmaschinen erlauben möchten, alle Seiten Ihrer Website zu indizieren, fügen Sie die folgende Regel zu Ihrer robots.txt-Datei hinzu:

User-agent: *

Allow: /

Oder

User-agent: *

Disallow:

Zugriff auf eine bestimmte Datei in einem unzulässigen Ordner erlauben

Wenn Sie Bots den Zugriff auf eine bestimmte Datei in einem unzulässigen Ordner erlauben möchten, verwenden Sie ein ähnliches Snippet.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Im Beispiel erlauben wir Bots, die Datei admin-ajax.php zu crawlen, die sich im Verzeichnis wp-admin befindet.

Crawlen von WordPress-Suchergebnissen durch Bots beschränken

Um Ihre WordPress-Site SEO-freundlich zu halten, ist es ratsam, Bots daran zu hindern, WordPress-Suchergebnisse zu crawlen. Diese Seiten können duplicate Content erstellen und Ihr Crawling-Budget verschlingen und bieten wenig bis gar keinen Wert für Ihr Suchranking.

User-agent: *

Disallow: /?s=

Diese Anweisung stellt sicher, dass die Zeit undRessourcen von Such-Bots für das Crawlen des Hauptinhalts Ihrer Website aufgewendet werden und nicht für die vorübergehenden Suchergebnisse der Website.

Zugriff von Suchmaschinen-Crawlern auf Ihre gesamte Website blockieren

Wenn Sie die Indexierung Ihrer Website durch Suchmaschinen-Crawler verhindern möchten, verwenden Sie den folgenden Codeausschnitt.

User-agent: *

Disallow: /

Die Zeile „Disallow: /“ teilt Bots mit, dass sie auf keinen Teil der Website zugreifen dürfen. Der Schrägstrich (/) stellt das Stammverzeichnis der Site und alles danach dar, also im Wesentlichen die gesamte Site.

Crawlen Ihrer WordPress-Website durch einen bestimmten Benutzeragenten blockieren

Es kann vorkommen, dass Sie verhindern möchten, dass ein bestimmter Bot Ihre Website crawlt. Jeder Benutzeragent greift auf Ihre Website zu, um Inhalte zu indizieren.

Allerdings verbrauchen einige Bots möglicherweise zu viele Serverressourcen. Außerdem gibt es bösartige Bots, die darauf abzielen, Ihre Inhalte zu scannen oder nach Schwachstellen für Angriffe zu suchen.

Daher ist es am besten, den Crawler-Zugriff auf solche Bots zu blockieren, indem Sie den folgenden Code in Ihrer robots.txt-Datei verwenden.

User-agent: MJ12bot

Disallow: /

Beachten Sie: Wenn Sie vorhaben, mehr als einen Benutzeragenten zu blockieren, empfiehlt es sich, für jeden Benutzeragenten eine separate Nichtzulassungsregel in der robots.txt-Datei zu verwenden. Diese Regel sollte den Namen des Benutzeragenten und das unzulässige Verzeichnis enthalten.

Zugriff auf einen bestimmten Ordner oder eine bestimmte Datei verhindern

Wenn Sie Bots am Zugriff auf bestimmte Seiten oder Dateien hindern möchten, fügen Sie eine weitere Zeile Disallow in robots.txt ein und geben Sie den Datei-/Ordnerpfad an.

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-login.php

Websitebesitzer blockieren bestimmte Seiten oder Dateien, um sensible oder nicht wesentliche Inhalte aus den Suchergebnissen fernzuhalten. Dieser fokussierte Ansatz spart Bandbreite und steigert die Suchmaschinenoptimierung, indem er die wichtigsten Bereiche der Website hervorhebt.

Den XML-Sitemap-Speicherort für Suchmaschinen angeben

Leiten Sie Suchmaschinen zum Entwurf Ihrer Website, indem Sie den Speicherort Ihrer Sitemap in Ihrer robots.txt-Datei angeben. Dies hilft Suchmaschinen wie Google, Ihre Sitemap zu finden und zu verwenden, um Ihre Website schneller und effizienter zu indizieren. Fügen Sie einfach eine Zeile wie die unten gezeigte hinzu und geben Sie den Speicherort Ihrer sitemap.xml an.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://testsgdomain.com/wp-sitemap.xml

Sie können auch mehrere Sitemaps in Ihre robots.txt-Datei einbinden, um Suchmaschinen dabei zu helfen, verschiedene Inhaltsbereiche auf Ihrer Website zu indexieren. Fügen Sie Zeilen wie Sitemap: http://www.yourdomain.com/sitemap-posts.xml und Sitemap: http://www.yourdomain.com/sitemap-pages.xml. Dies bietet einen klaren Index Ihrer Inhalte für ein effektiveres Crawling.

Testen und Fehlerbehebung Ihrer WordPress-Robots.txt-Datei

Ihre WordPress robots.txt navigiert durch Suchmaschinen-Crawler. Daher möchten Sie sicherstellen, dass Ihre Website zugänglich ist und Roboter verstehen, was sie sehen können und was tabu ist. Darüber hinaus muss Googlebot in der Lage sein, Ihre robots.txt-Datei erfolgreich abzurufen, um eine bessere Indexierung zu ermöglichen.

Sie können testen, ob auf Ihre WordPress robots.txt zugegriffen werden kann, indem Sie die URL https://www.yourdomain.com/robots.txt eingeben Der Browser. Eine andere Möglichkeit besteht darin, von Ihrem Terminal aus eine Curl-Anfrage an die Datei zu stellen, wie im Screenshot unten.

Um zu überprüfen, ob Benutzeragenten Ihre robots.txt-Datei verarbeiten können, testen Sie sie mit Googles robots.txt-Tester. Das Tool ruft nicht nur Ihre Datei ab, sondern zeigt Ihnen auch an, ob Probleme damit vorliegen. Die Schritte sind wie folgt:

1. Melden Sie sich bei Ihrem Google Search Console-Konto an, indem Sie auf Start klicken Jetzt-Schaltfläche.
   

   

2. Navigieren Sie zu Einstellungen und scrollen Sie nach unten zu Bericht öffnen für Ihre robots.txt
   

   

3. Überprüfen Sie, ob die robots.txt der jeweiligen Site aus Ihrer Liste Abgerufen ist und ob Google Search Console erkennt alle Probleme damit.
   

   

4. Klicken Sie auf die Datei, um zu überprüfen, wie Google Ihre robots.txt liest.
   

   

Fehlerbehebung bei WordPress robots.txt

Stellen Sie bei der Fehlerbehebung in Ihrer robots.txt-Datei sicher, dass Such-Bots nicht versehentlich von wichtigen Inhalten ausgeschlossen werden. Eine zu restriktive robots.txt-Datei kann dazu führen, dass wichtige Seiten unbemerkt bleiben. Die Google Search Console kann Ihnen anzeigen, ob Sie etwas Wichtiges blockiert haben.

• Stellen Sie sicher, dass Ihre robots.txt-Syntax korrekt ist, um Dateiverarbeitungsprobleme aufgrund falscher Regeln zu vermeiden.
• Überprüfen Sie, ob Ihre WordPress-Datei robots.txt den Zugriff auf wichtige Ressourcen wie CSS und Bilder zulässt, die für die Website-Präsentation von entscheidender Bedeutung sind.
• Anweisungen sollten präzise sein und nur auf die beabsichtigten Bots abzielen, um Missverständnisse zu vermeiden.
• Bestätigen Sie außerdem angesichts der zunehmenden Verbreitung des mobilen Surfens, dass Ihre robots.txt-Einstellungen für mobile Crawler optimiert sind.

Behalten Sie es im Auge, dann kann es losgehen!

Schlussfolgerung

Denken Sie abschließend daran, dass die User-Agent-Anweisungen in Ihrer WordPress-Robots.txt-Datei Suchmaschinen-Bots durch Ihre Website leiten. Die Standardanweisungen entsprechen den Anforderungen der meisten WordPress-Sites. Sie können sie jedoch maßschneidern, um die Interaktion von Suchmaschinen mit Ihren Inhalten zu optimieren.

Stellen Sie sicher, dass Ihre robots.txt-Datei klar ist, den Zugriff auf Ihre Sitemaps zulässt und nur Bereiche einschränkt, die privat bleiben sollten. Mit diesen Schritten stellen Sie sicher, dass Ihre Website effektiv gecrawlt wird, um die Sichtbarkeit und SEO-Leistung zu verbessern.