Wie verwendet man die robots.txt Datei, um die Art und Weise zu verbessern, wie Such-Bots Ihre Website crawlen?
Der Zweck der robots.txt -Datei ist es, den Such-Bots mitzuteilen, welche Dateien von ihnen indiziert werden sollen und welche nicht. Meistens wird es verwendet, um die Dateien anzugeben, die nicht von Suchmaschinen indiziert werden sollen.
Damit Suchbots den gesamten Inhalt Ihrer Website crawlen und indizieren können, fügen Sie die folgenden Zeilen in Ihre robots.txt -Datei ein:
Benutzer-Agent: *
Nicht zulassen:
Auf der anderen Seite, wenn Sie die vollständige Indizierung Ihrer Website verbieten möchten, verwenden Sie die folgenden Zeilen:
Benutzer-Agent: *
Nicht zulassen: /
Für weitergehende Ergebnisse müssen Sie die Abschnitte in der Datei robots.txt verstehen. Die Zeile “ User-agent: ” gibt an, für welche Bots die Einstellungen gültig sein sollen. Sie können “*” als Wert verwenden, um die Regel für alle Such-Bots oder den Namen des Bots, für den Sie bestimmte Regeln erstellen möchten, zu erstellen.
Der Abschnitt “ Verbieten: ” definiert die Dateien und Ordner, die nicht von Suchmaschinen indiziert werden sollen. Jeder Ordner oder jede Datei muss in einer neuen Zeile definiert werden. Zum Beispiel weisen die folgenden Zeilen alle Suchbots an, die Ordner “ private ” und “ security ” in Ihrem public_html -Ordner nicht zu indizieren:
Benutzer-Agent: *
Nicht zulassen: /private
Nicht zulassen: /security
Beachten Sie, dass die Anweisung “ Verbieten: ” den Wurzelordner Ihrer Website als Basisverzeichnis verwendet, daher sollte der Pfad zu Ihren Dateien /sample.txt und nicht etwa /home/user/public_html/sample.txt .