Als indiziert auflösen, aber durch robots.txt in der Google Search Console blockiert

Wenn Sie die SEO Ihrer Website verwalten, stoßen Sie möglicherweise im Indexierungsbericht der Google Search Console auf den Status Indiziert, aber durch robots.txt blockiert. 

Dies teilt Ihnen mit, dass eine Seite von Google indexiert, aber aufgrund von Regeln in Ihrer robots.txt-Datei nicht gecrawlt werden kann. Obwohl diese Situation nicht immer problematisch ist, kann sie zu einer unvollständigen oder ungenauen Indexierung führen.

In diesem Artikel erklären wir, was dieser Status bedeutet, warum er auftritt und wie Sie ihn mit All in One SEO beheben können.

Den Status „Indiziert, aber durch robots.txt blockiert“ verstehen

Der Status Indiziert, aber durch robots.txt blockiert tritt auf, wenn Google eine Seite erfolgreich indexiert, aber ihren Inhalt aufgrund einer Regel in Ihrer robots.txt-Datei nicht crawlen kann. Crawling und Indexierung sind unterschiedliche Prozesse:

• Crawling ist die Art und Weise, wie Suchmaschinen den Inhalt Ihrer Website abrufen und analysieren.
• Indexierung beinhaltet das Hinzufügen der Seite zur Datenbank der Suchmaschine, damit sie in den Suchergebnissen erscheinen kann.

Wenn eine Seite vom Crawling blockiert ist, kann Google sie nur anhand von Metadaten oder Informationen aus externen Links indexieren, was zu einer unvollständigen Indexierung führt.

Identifizierung des Status „Indiziert, aber durch robots.txt blockiert“ in der Google Search Console

Um Seiten mit dem Status Indiziert, aber durch robots.txt blockiert in der Google Search Console (GSC) zu identifizieren, gehen Sie wie folgt vor:

1. Melden Sie sich bei Ihrem Google Search Console-Konto an und wählen Sie die entsprechende Property (Website) im Dropdown-Menü Such-Property aus (wenn Sie mehrere Websites verwalten).
   
2. Klicken Sie im linken Seitenmenü unter Indexierung auf Seiten.

3. Scrollen Sie im Bericht Seitenindexierung zum Abschnitt Seitenerscheinung verbessern und suchen Sie nach Indiziert, aber durch robots.txt blockiert. Klicken Sie darauf, um eine detaillierte Liste aller Seiten anzuzeigen, die aus diesem Grund markiert sind.

4. Nachdem Sie auf Indiziert, aber durch robots.txt blockiert geklickt haben, scrollen Sie zum Abschnitt Beispiele, um die Liste der betroffenen URLs anzuzeigen. Dies hilft Ihnen zu verstehen, ob dies beabsichtigt ist oder ob Probleme wie defekte Links oder falsche Weiterleitungstypen vorliegen.

So finden Sie den Status „Indiziert, aber durch robots.txt blockiert“ mithilfe der Indexstatusfunktion in den Suchstatistiken von All in One SEO

Die Funktion Indexstatus ermöglicht es Ihnen, Fehler von Google Search Console direkt in Ihrem WordPress-Dashboard anzuzeigen. Gehen Sie dazu wie folgt vor:

1. Klicken Sie im Menü All in One SEO auf Suchstatistiken und dann auf die Registerkarte SEO-Statistiken. 

2. Im Bericht Content-Leistung finden Sie eine Spalte mit der Bezeichnung Indiziert, die den Indexierungsstatus Ihrer Seiten mithilfe farbcodierter Symbole anzeigt.

3. Wenn eines dieser Symbole orange oder rot ist, fahren Sie mit der Maus darüber, um ein detailliertes Popup anzuzeigen. Wenn das Problem der Status Indiziert, aber durch robots.txt blockiert ist, enthält das Popup spezifische Informationen, z. B. Details zur Weiterleitung.

4. Alternativ können Sie zum Bildschirm Alle Beiträge oder Alle Seiten in WordPress navigieren. Die Spalte AIOSEO-Details auf dieser Seite zeigt dieselben Indexstatus-Symbole wie der Bericht Content-Performance an. Wenn Sie mit der Maus über ein Symbol fahren, werden auch Details zu Fehlern angezeigt.

Mit diesen Methoden in All in One SEO können Sie URLs, die vom Status Indiziert, aber durch robots.txt blockiert betroffen sind, effektiv finden und beheben und so ein reibungsloses Benutzererlebnis und eine optimale Indexierung für Ihre Website gewährleisten. Weitere Informationen finden Sie in unserem Artikel Überprüfung des Indexierungsstatus von Inhalten.

So beheben Sie den Status „Indiziert, aber durch robots.txt blockiert“ mit AIOSEO

AIOSEO bietet leistungsstarke Tools zur Diagnose und Behebung von robots.txt-Problemen. Gehen Sie wie folgt vor:

• Aktualisieren Ihrer robots.txt-Regeln

Wenn die betroffene Seite indexiert und gecrawlt werden soll, müssen Sie Ihre robots.txt-Datei aktualisieren. Sie können den Robots.txt-Editor aufrufen, indem Sie im Menü All in One SEO Ihres WordPress-Dashboards zum Abschnitt Tools navigieren. Hier können Sie Ihre robots.txt-Datei direkt anzeigen und bearbeiten.

Suchen Sie nach Disallow-Regeln, die Googlebot möglicherweise am Zugriff auf die betroffene Seite hindern. Beispiel: Disallow: /beispiel-seite/

Wenn die Seite zugänglich sein soll, ändern oder entfernen Sie die Regel. Speichern Sie die Änderungen, um die Aktualisierungen anzuwenden.

• Regeln mit dem Regel-Builder bearbeiten

Um eine von Ihnen hinzugefügte Regel zu bearbeiten, ändern Sie einfach die Details im Regel-Builder und klicken Sie auf die Schaltfläche Änderungen speichern.

• Eine Regel im Regel-Builder löschen

Um eine von Ihnen hinzugefügte Regel zu löschen, klicken Sie auf das Papierkorbsymbol rechts neben der Regel.

Sie können unseren Artikel Verwendung des Robots.txt-Tools in All in One SEO lesen, um mehr zu erfahren.

• Testen Sie Ihren robots.txt-Block mit dem GSC-URL-Inspektionstool

Nachdem Sie Ihre robots.txt-Datei aktualisiert haben, können Sie mit dem URL-Inspektionstool der Google Search Console testen, ob Google immer noch am Crawlen der Seite gehindert wird.

1. Melden Sie sich bei der Google Search Console an und verwenden Sie die Suchleiste oben, um die betroffene URL zu inspizieren.
2. Klicken Sie nach der ersten Inspektion auf die Schaltfläche TESTE LIVE-URL in der oberen rechten Ecke. Dies zeigt, wie Googlebot die Seite derzeit sieht.
3. Warten Sie, bis der Live-Test abgeschlossen ist.
4. Überprüfen Sie im Live-Testergebnis den Status Crawl erlaubt?.

• Wenn dort Ja steht, war Ihre robots.txt-Korrektur erfolgreich und Google kann die Seite jetzt crawlen.
• Wenn dort immer noch Nein steht, erweitern Sie den Abschnitt Crawl-Fehler und überprüfen Sie die Details von Robots.txt blockiert. Möglicherweise müssen Sie den Robots.txt-Editor in AIOSEO erneut aufrufen, um weitere Anpassungen vorzunehmen.
  

• Anwenden von Noindex-Meta-Tags für unerwünschte Seiten

Wenn eine Seite von den Suchergebnissen ausgeschlossen werden soll, ist es unerlässlich, eine No Index Robots Meta-Direktive zu verwenden, anstatt sich auf robots.txt-Regeln zu verlassen. Der entscheidende Unterschied hierbei ist, dass robots.txt nur das Crawling verwaltet, nicht die Indexierung. Crawling und Indexierung sind zwei getrennte Prozesse.

Das Blockieren einer Seite in robots.txt verhindert beispielsweise, dass Suchmaschinen darauf zugreifen können, aber es verhindert nicht, dass die Seite indexiert wird, wenn sie bereits auf andere Weise entdeckt wurde, z. B. durch Backlinks.

Um sicherzustellen, dass eine Seite nicht indexiert wird, sollten Sie ein No Index Robots Meta-Tag hinzufügen. Dies weist Suchmaschinen an, die Seite von den Suchergebnissen auszuschließen. Wenn Sie jedoch dieselbe Seite in robots.txt blockieren, können Suchmaschinen wie Google sie nicht crawlen, um die No Index-Direktive zu sehen. Infolgedessen kann die Seite indexiert bleiben, da Suchmaschinen die Direktive nicht kennen.

Zum Beispiel stellen Sie sich eine Seite vor, die Sie nicht indizieren lassen möchten. Wenn Sie sie in der robots.txt blockieren und ein Noindex-Tag hinzufügen, werden Suchmaschinen die Seite nicht crawlen, um die Noindex-Anweisung zu erkennen, was ihren Zweck vereitelt. 

Stattdessen sollten Sie Suchmaschinen erlauben, die Seite zu crawlen, damit sie die Noindex Robots-Meta-Anweisung erkennen und sie aus ihrem Index entfernen können.

Beispielszenario:

• Korrekte Methode: Erlauben Sie Suchmaschinen, eine URL zu crawlen, z. B. https://example.com/private-info, und fügen Sie ein Noindex-Tag im Header der Seite hinzu.
• Falsche Methode: Blockieren Sie https://example.com/private-info gleichzeitig in der robots.txt und fügen Sie ein Noindex-Tag hinzu.

Schließlich eignet sich die robots.txt am besten zum Blockieren von Dateien wie PDFs, Bildern oder Feeds, bei denen das Hinzufügen einer Noindex-Anweisung nicht möglich ist. Sie könnten beispielsweise https://example.com/files/document.pdf in der robots.txt blockieren, da PDFs keine Robots-Meta-Tags unterstützen.

Um einer Seite ein Noindex-Tag hinzuzufügen, bearbeiten Sie die Seite in WordPress und scrollen Sie zum Abschnitt AIOSEO-Einstellungen. Unter der Registerkarte Erweitert finden Sie eine Einstellung für Robots-Einstellungen mit einem Schalter, der auf Standardeinstellungen verwenden eingestellt ist.

Ändern Sie den Schalter auf aus, und Sie sehen einige Kontrollkästchen unter der Überschrift Robots-Meta.

Aktivieren Sie das Kontrollkästchen für Noindex und klicken Sie auf die Schaltfläche Aktualisieren für Ihren Beitrag. Dieser Beitrag wird nicht von Suchmaschinen indiziert und erscheint nicht in den Suchergebnissen. Dieser Vorgang kann eine Weile dauern, bis Google Ihre URLs deindiziert hat.

• Umgang mit externen Links zu blockierten Seiten

Wenn externe Websites auf eine blockierte Seite verlinken, kann Google sie dennoch mit begrenzten Daten indizieren. Um dies zu beheben, kontaktieren Sie die externe Website und bitten Sie darum, den Link zu einer relevanteren URL zu aktualisieren. Alternativ können Sie den Redirect Manager von AIOSEO verwenden, um eine 301-Weiterleitung von der blockierten Seite zu einer geeigneten URL zu erstellen. Dies stellt sicher, dass sowohl Benutzer als auch Suchmaschinen auf den richtigen Inhalt weitergeleitet werden.

• Bitten Sie Google, Ihre URLs erneut zu validieren

Nachdem Sie diese Korrekturen angewendet haben, melden Sie sich bei Ihrer Google Search Console an und verwenden Sie das URL-Inspektionstool, um die betroffene URL zu testen.

Klicken Sie auf Indexierung beantragen, um Google über die Änderungen zu informieren. Dieser Schritt veranlasst Google, die Seite erneut zu crawlen und ihren Status entsprechend zu aktualisieren.

Wenn Sie alle Instanzen des Fehlers behoben haben, können Sie Google bitten, Ihre URLs in großen Mengen neu zu validieren. Klicken Sie auf der Seite Seitenindizierung in der Google Search Console auf die Schaltfläche Korrektur validieren. Dies informiert Google, dass die Probleme behoben wurden und die URLs zur Indizierung bereit sind.

Gelegentlich meldet Google möglicherweise Fehlalarme. In solchen Fällen stellt die erneute Validierung sicher, dass diese URLs erneut überprüft werden.

Vermeidung ähnlicher Probleme in der Zukunft

Um zu verhindern, dass dieser Fehler erneut auftritt:

• Überprüfen Sie regelmäßig Ihre robots.txt-Datei, um sicherzustellen, dass sie mit Ihren Indexierungszielen übereinstimmt.
• Verwenden Sie Noindex-Meta-Tags für Seiten, die nicht in den Suchergebnissen erscheinen sollen, anstatt sie in der robots.txt zu blockieren.
• Überwachen Sie die Crawling- und Indexierungsprobleme Ihrer Website mit der Google Search Console und den integrierten Tools von AIOSEO.

Der Fehler „Indexiert, aber durch robots.txt blockiert“ kann durch Aktualisierung Ihrer robots.txt-Datei, Anpassung von Meta-Direktiven oder Verwaltung externer Links behoben werden. Durch die Nutzung der umfassenden Tools von AIOSEO können Sie diese Probleme effektiv angehen und eine gesunde, optimierte Website pflegen.