Robots.txt ist eine Textdatei, die im Stammverzeichnis einer Website platziert wird und Web-Roboter (wie Suchmaschinen-Crawlers) anweist, welche Seiten oder Bereiche der Website sie aufrufen und indexieren dürfen. Diese Datei dient als Anweisungssatz für diese automatisierten Bots.
Beispiele für die Verwendung von robots.txt:
- Spezifische Verzeichnisse verbieten: User-agent: * Disallow: /private/ Dies weist alle Roboter an, das Verzeichnis „/private/“ und dessen Inhalte nicht aufzurufen.
- Bestimmte Robots zulassen und andere verbieten: User-agent: Googlebot Allow: / User-agent: * Disallow: / Dies erlaubt Googles Crawler den Zugriff auf alle Seiten, während alle anderen Robots verboten werden.
- Angabe des Speicherorts der Sitemap: Sitemap: https://example.com/sitemap.xml Dies weist Robots auf den Speicherort der Sitemap der Website hin, was ihnen hilft, die Website effizient zu durchsuchen.
- Zugriff auf bestimmte Dateitypen verbieten: User-agent: * Disallow: /*.pdf$ Dies verhindert, dass Roboter auf PDF-Dateien auf der Website zugreifen.
Denken Sie daran, dass robots.txt eine öffentlich zugängliche Datei ist und nicht zum Verbergen sensibler Informationen verwendet werden sollte, da sie leicht von jedem eingesehen werden kann.
Robots.txt in WordPress
All in One SEO bietet einen benutzerfreundlichen robots.txt-Editor. Es ist nicht nötig, sich mit Code zu befassen. Benutzer können ihre robots.txt-Datei bearbeiten, indem sie Formularfelder ausfüllen.
Verwandt: