Als Ihr Partner in Webdesign und SEO, gestalten wir Ihre maßgeschneiderte Website und optimieren sie für eine bessere Sichtbarkeit in den Suchmaschinen. Nehmen Sie jetzt Kontakt auf, um Ihre Online-Präsenz stärken.
Der Ursprung dieser Datei stammt aus dem Jahr 1994, als der niederländische Martijn Koster nach einem fehlerhaften Web -Crawler -DOS -Angriff auf die Idee kam. Die Roboter Txt Sitemap wurde schnell übernommen und wuchs zu einem weltweiten Standard. Zu dieser Zeit übernahmen die beliebten Suchmaschinen Webcrawler, Lycos und Altavista diesen Standard, und die ausgeschlossenen Seiten würden nicht indexieren. Die Datei wird im Stamm der Domäne mit Anweisungen für einen automatisierten Webcrawler platziert. Diese Bots sind die ersten, die diese Datei lesen, bevor sie die zugrunde liegenden Seiten indizieren. Wenn eine solche Datei nicht vorhanden ist, wird die gesamte Website gescannt. Die Datei gilt speziell für eine Domäne, in Gegenwart mehrerer Subdomänen muss für jede Subdomäne ein separater Robots.txt platziert werden.
Warum Seiten ausschließen?
Es gibt verschiedene Gründe dafür, dass die Seiten für Suchmaschinen nicht sichtbar machen. Spezifische Seiten, die beispielsweise für ein großes Publikum nicht bestimmt sind oder den Server nicht unnötig belasten. Es kann auch einen strategischen Vorteil bei der Website -Optimierung bieten, indem keine Seiten auf einer Domain miteinander konkurrieren. Es ist auch möglich, dass diese Seiten über Links auf anderen Seiten sichtbar werden. Standardmäßig folgt ein Crawler allen öffentlich verfügbaren Seiten und hört mit Registrierungsseiten oder Seiten ein, die nicht ohne Anmeldung besucht werden können. Robots.txt bei WordPress ist eines der Standardlayout, diese Datei kann nicht angepasst werden. Es ist möglich, der Domäne eine neue Datei hinzuzufügen, die an Ihre Präferenz angepasst werden kann.