Risoluzione di "Indicizzato, ma bloccato da robots.txt" in Google Search Console

Quando gestisci la SEO del tuo sito web, potresti incontrare lo stato Indicizzato, sebbene bloccato da robots.txt nel report di Indicizzazione in Google Search Console. 

Questo ti informa che una pagina è indicizzata da Google ma è bloccata dalla scansione a causa di regole nel tuo file robots.txt. Sebbene questa situazione non sia sempre problematica, può portare a un'indicizzazione incompleta o inaccurata.

In questo articolo, spiegheremo cosa significa, perché si verifica e come risolverlo utilizzando All in One SEO.

Comprendere lo stato Indicizzato, sebbene bloccato da robots.txt

Lo stato Indicizzato, sebbene bloccato da robots.txt si verifica quando Google indicizza correttamente una pagina ma non riesce a scansionarne il contenuto a causa di una regola nel tuo file robots.txt. Scansione e indicizzazione sono processi distinti:

• Scansione è il modo in cui i motori di ricerca accedono e analizzano i contenuti del tuo sito.
• Indicizzazione comporta l'aggiunta della pagina al database del motore di ricerca in modo che possa apparire nei risultati di ricerca.

Quando una pagina è bloccata dalla scansione, Google potrebbe indicizzarla utilizzando solo metadati o informazioni da link esterni, portando a un'indicizzazione incompleta.

Identificare lo stato Indicizzato, sebbene bloccato da robots.txt in Google Search Console

Per identificare le pagine con lo stato Indicizzato, sebbene bloccato da robots.txt in Google Search Console (GSC), segui questi passaggi:

1. Accedi al tuo account Google Search Console e seleziona la proprietà (sito web) appropriata nel menu a discesa Proprietà di ricerca (se gestisci più siti web).
   
2. Fai clic su Pagine nella sezione Indicizzazione nella barra laterale sinistra.

3. Nel report Indicizzazione delle pagine, scorri verso il basso fino alla sezione Migliora l'aspetto delle pagine e cerca Indicizzato, sebbene bloccato da robots.txt. Fai clic su questo per vedere un elenco dettagliato di tutte le pagine segnalate per questo motivo.

4. Dopo aver fatto clic su Indicizzato, sebbene bloccato da robots.txt, scorri verso il basso fino alla sezione Esempi per visualizzare l'elenco degli URL interessati. Questo ti aiuterà a capire se l'operazione è intenzionale o se ci sono problemi, come link interrotti o tipi di reindirizzamento errati.

Come trovare lo stato Indicizzato, sebbene bloccato da robots.txt utilizzando lo stato di indicizzazione nella funzione Statistiche di ricerca di All in One SEO

La funzionalità Stato dell'indicizzazione ti consente di visualizzare gli errori di Google Search Console direttamente nella dashboard di WordPress. Per farlo, segui questi passaggi:

1. Fai clic su Statistiche di ricerca nel menu All in One SEO e quindi fai clic sulla scheda Statistiche SEO. 

2. Nel report Prestazioni dei contenuti, troverai una colonna etichettata Indicizzato, che mostra lo stato di indicizzazione delle tue pagine utilizzando icone colorate.

3. Se una di queste icone è arancione o rossa, passaci sopra il mouse per rivelare un popup dettagliato. Se il problema è uno stato Indicizzato, sebbene bloccato da robots.txt, il popup fornirà informazioni specifiche, come dettagli sul reindirizzamento.

4. In alternativa, vai alla schermata Tutti i post o Tutte le pagine in WordPress. La colonna Dettagli AIOSEO in questa pagina visualizza le stesse icone di stato dell'indicizzazione del report Prestazioni dei contenuti. Passare il mouse sopra un'icona qui mostrerà anche i dettagli di eventuali errori.

Utilizzando questi metodi in All in One SEO, puoi individuare e risolvere efficacemente gli URL interessati dallo stato Indicizzato, sebbene bloccato da robots.txt, garantendo un'esperienza utente fluida e un'indicizzazione ottimale per il tuo sito. Puoi saperne di più su Verifica dello stato di indicizzazione dei contenuti nel nostro articolo qui.

Come correggere lo stato Indicizzato, sebbene bloccato da robots.txt con AIOSEO

AIOSEO fornisce potenti strumenti per diagnosticare e risolvere i problemi di robots.txt. Segui questi passaggi:

• Aggiornamento delle regole di robots.txt

Se la pagina interessata deve essere indicizzata e sottoposta a scansione, dovrai aggiornare il tuo file robots.txt. Puoi accedere all'Editor Robots.txt andando alla sezione Strumenti nel menu All in One SEO della tua bacheca di WordPress. Qui puoi visualizzare e modificare direttamente il tuo file robots.txt.

Cerca eventuali regole di disallow che potrebbero impedire a Googlebot di accedere alla pagina interessata. Ad esempio: Disallow: /pagina-esempio/

Se la pagina deve essere accessibile, modifica o rimuovi la regola. Salva le modifiche per applicare gli aggiornamenti.

• Modifica delle regole utilizzando il Generatore di regole

Per modificare qualsiasi regola che hai aggiunto, cambia semplicemente i dettagli nel costruttore di regole e fai clic sul pulsante Salva modifiche.

• Eliminazione di una regola nel Generatore di regole

Per eliminare una regola che hai aggiunto, fai clic sull'icona del cestino a destra della regola.

Puoi leggere il nostro articolo Utilizzo dello strumento Robots.txt in All in One SEO per saperne di più.

• Testa il tuo blocco robots.txt utilizzando lo strumento di ispezione URL di GSC

Ora che hai aggiornato il tuo file robots.txt, puoi verificare se Google è ancora bloccato dall'effettuare la scansione della pagina utilizzando lo Strumento di ispezione URL di Google Search Console.

1. Accedi a Google Search Console e utilizza la barra di ricerca in alto per ispezionare l'URL interessato.
2. Dopo l'ispezione iniziale, fai clic sul pulsante TESTA URL LIVE nell'angolo in alto a destra. Questo mostra come Googlebot vede attualmente la pagina.
3. Attendi il completamento del test live.
4. Nel risultato del test live, controlla lo stato Scansione consentita?.

• Se mostra Sì, la correzione del tuo robots.txt ha avuto successo e Google ora può eseguire la scansione della pagina.
• Se mostra ancora No, espandi la sezione Errore di scansione e controlla i dettagli di Blocco robots.txt. Potrebbe essere necessario rivisitare l'Editor Robots.txt in AIOSEO per apportare ulteriori modifiche.
  

• Applicazione dei tag meta Noindex per pagine indesiderate

Quando desideri che una pagina venga esclusa dai risultati di ricerca, è essenziale utilizzare una direttiva Meta Robots No Index piuttosto che fare affidamento sulle regole robots.txt. La distinzione fondamentale qui è che robots.txt gestisce solo la scansione, non l'indicizzazione. Scansione e indicizzazione sono due processi separati.

Ad esempio, bloccare una pagina in robots.txt impedisce ai motori di ricerca di accedervi, ma non impedisce alla pagina di essere indicizzata se è già stata scoperta tramite altri mezzi, come i backlink.

Per garantire che una pagina non venga indicizzata, dovresti aggiungere un tag Meta Robots No Index. Questo dice ai motori di ricerca di escludere la pagina dai risultati di ricerca. Tuttavia, se blocchi la stessa pagina in robots.txt, i motori di ricerca come Google non saranno in grado di eseguirne la scansione per vedere la direttiva No Index. Di conseguenza, la pagina potrebbe rimanere indicizzata perché i motori di ricerca non sono a conoscenza della direttiva.

Ad esempio, immagina di avere una pagina che non vuoi indicizzare. Se la blocchi in robots.txt e aggiungi un tag No Index, i motori di ricerca non eseguiranno la scansione della pagina per riconoscere la direttiva No Index, vanificandone lo scopo. 

Invece, dovresti consentire ai motori di ricerca di eseguire la scansione della pagina, in modo che possano rilevare il meta tag Robots No Index e rimuoverla dal loro indice.

Scenario di esempio:

• Metodo corretto: Consenti ai motori di ricerca di eseguire la scansione di un URL, come https://example.com/private-info, e aggiungi un tag No Index nell'intestazione della pagina.
• Metodo errato: Blocca https://example.com/private-info in robots.txt e aggiungi contemporaneamente un tag No Index.

Infine, robots.txt è più adatto per bloccare file come PDF, immagini o feed, dove non è possibile aggiungere una direttiva No Index. Ad esempio, potresti bloccare https://example.com/files/document.pdf in robots.txt perché i PDF non supportano i tag Meta Robots.

Per aggiungere un tag noindex a una pagina, modifica la pagina in WordPress e scorri fino alla sezione Impostazioni AIOSEO. Nella scheda Avanzate, troverai un'impostazione per Impostazioni Robots con un interruttore impostato su Usa impostazioni predefinite.

Cambia l'interruttore su off e vedrai alcune caselle di controllo sotto l'intestazione Meta Robots.

Seleziona la casella No Index e fai clic sul pulsante Aggiorna per il tuo post. Questo post non verrà indicizzato dai motori di ricerca e non apparirà nei risultati di ricerca. Questo processo potrebbe richiedere del tempo affinché Google de-indicizzi i tuoi URL.

• Gestione dei link esterni a pagine bloccate

Se siti esterni linkano a una pagina bloccata, Google potrebbe comunque indicizzarla utilizzando dati limitati. Per risolvere questo problema, contatta il sito esterno e chiedi loro di aggiornare il link a un URL più pertinente. In alternativa, utilizza il Gestore di reindirizzamento di AIOSEO per creare un reindirizzamento 301 dalla pagina bloccata a un URL appropriato. Ciò garantisce che sia gli utenti che i motori di ricerca vengano indirizzati ai contenuti corretti.

• Chiedi a Google di rivalutare i tuoi URL

Dopo aver applicato queste correzioni, accedi alla tua Google Search Console e utilizza lo Strumento Controllo URL per testare l'URL interessato.

Fai clic su Richiedi indicizzazione per notificare a Google le modifiche. Questo passaggio richiede a Google di eseguire nuovamente la scansione della pagina e di aggiornarne lo stato di conseguenza.

Se hai risolto tutte le istanze dell'errore, puoi chiedere a Google di rivalutare i tuoi URL in blocco. Nella pagina Indici delle pagine in Google Search Console, fai clic sul pulsante Valida correzione. Questo informa Google che i problemi sono stati risolti e che gli URL sono pronti per l'indicizzazione.

Occasionalmente, Google potrebbe segnalare falsi positivi. In tali casi, la rivalutazione garantisce che questi URL vengano nuovamente esaminati.

Evitare problemi simili in futuro

Per evitare che questo errore si ripeta:

• Rivedi regolarmente il tuo file robots.txt per assicurarti che sia in linea con i tuoi obiettivi di indicizzazione.
• Utilizza i tag Meta Noindex per le pagine che non dovrebbero apparire nei risultati di ricerca, anziché bloccarle in robots.txt.
• Monitora i problemi di scansione e indicizzazione del tuo sito utilizzando Google Search Console e gli strumenti integrati di AIOSEO.

L'errore "Indicizzato, sebbene bloccato da robots.txt" può essere risolto aggiornando il file robots.txt, modificando le direttive meta o gestendo i link esterni. Sfruttando gli strumenti completi di AIOSEO, puoi affrontare questi problemi in modo efficace e mantenere un sito web sano e ottimizzato.