Back to Question Center
0

Semalt: Beziehe ich alle meine * .xml.gz Sitemap-Dateien in robots.txt an

1 answers:

Ich habe eine Website mit über 1 Million URLs. Als solche habe ich 1 Sitemap. XML-Datei, die als Index für viele sitemap0000 dient. XML - antena ubiquiti nanostation. gz, sitemap0001. XML. gz sitemap0030. XML. gz usw. Dateien.

Meine Frage ist: In meinen Robotern. TXT-Datei Wie lege ich die Sitemap-Datei fest?

Beziehe ich mich auf die Sitemap. nur XML? Wie im Folgenden:

     Benutzeragent: *
Ermöglichen: /
Sitemap: www. meine Seite. com / sitemap / sitemap. XML    

Oder muss ich ALLE * angeben. XML. gz-Dateien in der Sitemap auch?

February 7, 2018

Ja, beziehen sich nur auf die Indexdatei . (Siehe unter "Verwenden von Robotern. txt "Überschrift. ) Es wird dann den Crawler zu den anderen führen.