Wie kann ich die Crawl-Rate von Bing's Suchmaschinen-Bot verringern?
Der MSN Bot oder BING Bot crawlt Ihre Website, um den Inhalt Ihrer Website zu indizieren und die Ergebnisse unter der Bing-Suchmaschine anzuzeigen.
Bing unterstützt die Direktiven des Robots Exclusion Protocol (REP) , die in der robots.txt aus.
Die Crawling-Geschwindigkeit dieses Bots kann mit dieser robots.txt -Datei gesteuert werden. Um die Crawling-Geschwindigkeit zu verringern, fügen Sie den folgenden Inhalt in die Datei ein:
User-agent: bingbot
Crawl-Verzögerung: 1
Die folgenden beiden Crawler werden ebenfalls für einige Crawling-Aufgaben verwendet: MSNBot ( allgemeine Ressourcen) und MSNBot-Media (Bilder und Videos).
Die entsprechenden User-Agents sind:
msnbot
msnbot-media
Bing empfiehlt, den niedrigstmöglichen Wert für die Crawl-Verzögerung zu verwenden. Hier ist eine Liste der Werte, die Sie auf Ihrer Website verwenden können:
- Keine Crawling-Verzögerung eingestellt- Normal
- 1- Langsam
- 5- Sehr langsam
- 10- Extrem langsam
Eine alternative Methode zur Verwaltung der Bing-Crawling-Geschwindigkeit für Ihre Website ist es, sich für die Webmaster-Tools von Bing zu registrieren und dort Ihre Einstellungen vorzunehmen.