Come utilizzare la pulizia dei crawl per aumentare la quota di crawl dei motori di ricerca

Quando Google (e altri motori di ricerca) iniziano a indicizzare il tuo sito, è comune che raccolgano molti URL indesiderati provenienti dai tuoi feed RSS.

Google vede questi URL come unici e cerca di indicizzarli separatamente. Sebbene ciò non danneggi il tuo posizionamento (Google è abbastanza intelligente da capire queste cose), consuma la quota di crawling assegnata al tuo sito e, a sua volta, potrebbe causare ritardi nell'indicizzazione.

Per contrastare questo, abbiamo introdotto una nuova funzionalità Crawl Cleanup all'interno delle nostre impostazioni Aspetto della ricerca avanzato per consentire ai nostri utenti di ottimizzare ciò che Google può raccogliere.

Video tutorial sulla disabilitazione dei feed RSS

Dai un'occhiata al nostro video su Come disabilitare i feed RSS in WordPress qui sotto:

Abilitazione di Crawl Cleanup

Per abilitare le impostazioni Crawl Cleanup, fai clic su Aspetto della ricerca nel menu All in One SEO e quindi fai clic sulla scheda Avanzate.

Scorri fino in fondo alla pagina e abilita l'interruttore per Crawl Cleanup.

Sezione Pulizia Crawling nella scheda Avanzate Aspetto Ricerca

Una volta abilitato, ti verranno presentate le opzioni per la gestione dei tuoi feed RSS nella scheda Feed RSS.

Impostazioni feed RSS

WordPress include molti feed RSS sul tuo sito, inclusi feed che non sono affatto necessari. Se abiliti Crawl Cleanup, disabilitiamo automaticamente la maggior parte dei feed, mantenendo il feed principale del tuo sito e alcuni feed aggiuntivi che sono importanti.

Feed RSS globale

Il feed RSS globale è il modo in cui gli utenti si iscrivono a qualsiasi nuovo contenuto creato sul tuo sito. Questo è abilitato per impostazione predefinita con Crawl Cleanup e NON raccomandiamo di disabilitarlo.

Impostazione globale Feed RSS nella sezione Pulizia Crawling

Feed RSS commenti globale

Il feed globale dei commenti consente agli utenti di iscriversi a qualsiasi nuovo commento aggiunto al tuo sito. Questo è disabilitato per impostazione predefinita con Crawl Cleanup.

Impostazione globale Feed RSS Commenti nella sezione Pulizia Crawling

Feed pagina post statici

Se stai utilizzando una pagina statica per i tuoi post (ad esempio https://tuosito.com/blog/) allora questa opzione apparirà. Questo è abilitato per impostazione predefinita con Crawl Cleanup e NON raccomandiamo di disabilitarlo.

Impostazione Feed Pagina Post Statici nella sezione Pulizia Crawling

Feed autore

Il feed degli autori consente ai tuoi utenti di iscriversi a qualsiasi nuovo contenuto scritto da un autore specifico. Questo è abilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed Autore nella sezione Pulizia Crawling

Feed commenti post

Il feed dei commenti dei post consente ai tuoi utenti di iscriversi a qualsiasi nuovo commento su una pagina o un post specifico. Questo è disabilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed Commenti Post nella sezione Pulizia Crawling

Feed di ricerca

Il feed di ricerca consente ai visitatori di iscriversi ai tuoi contenuti in base a un termine di ricerca specifico. Questo è disabilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed Ricerca nella sezione Pulizia Crawling

Feed allegati

Il feed degli allegati consente agli utenti di iscriversi a qualsiasi modifica apportata al tuo sito alle categorie di file multimediali. Questo è disabilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed Allegati nella sezione Pulizia Crawling

Feed RSS paginati

I feed RSS paginati sono per qualsiasi post o pagina che sia paginata. Questo è disabilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed Impaginati RSS nella sezione Pulizia Crawling

Feed archivio tipi di post

Questo controlla quali feed di archivi di tipi di post sono abilitati. Nessun feed di archivi di tipi di post è abilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed archivio tipi di post in Pulizia crawl

Feed tassonomie

Questo controlla quali feed di tassonomie sono abilitati. Solo il feed delle Categorie è abilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed tassonomia in Pulizia crawl

Feed Atom

Questo è un feed globale del tuo sito che viene emesso nel formato Atom. Questo è disabilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed Atom in Pulizia crawl

Feed RDF/RSS 1.0

Questo è un feed globale del tuo sito che viene emesso nel formato RDF/RSS 1.0. Questo è disabilitato per impostazione predefinita con Crawl Cleanup.

Impostazione Feed RDF/RSS 1.0 in Pulizia crawl

Impostazioni bot indesiderati

Nella scheda Bot indesiderati, puoi controllare quali bot vengono bloccati dall'indicizzazione del tuo sito.

Impostazioni Bot indesiderati in All in One SEO

Puoi selezionare ciascuno dei crawler per bloccarli, oppure puoi selezionare Tutti i crawler AI per bloccare tutti quelli elencati.

Impostazioni di pulizia della ricerca interna del sito

Nella scheda Pulizia della ricerca interna del sito, puoi controllare gli URL utilizzati per le pagine di ricerca sul tuo sito. Questo può aiutare a ridurre il crawling e a combattere gli spammer SEO che utilizzano attacchi di spam noti.

Impostazioni Pulizia ricerca sito interna in All in One SEO

Impostazioni filtro ricerca

La prima impostazione è Filtra ricerca che, quando abilitata, visualizzerà le impostazioni per filtrare gli URL di ricerca.

Impostazioni Filtra ricerca in All in One SEO

Le impostazioni di Filtra ricerca sono:

  • Numero massimo di caratteri – Questa impostazione limiterà la lunghezza delle query di ricerca interna del sito per ridurre l'impatto degli attacchi di spam e degli URL confusi. Si consiglia di inserire un numero compreso tra 1 e 50 caratteri. Il valore predefinito è impostato su 50 caratteri.
  • Emoji e altri caratteri speciali – Questa impostazione bloccherà le ricerche interne del sito che contengono caratteri complessi e non alfanumerici come le emoji.
  • Pattern di spam comuni – Questa impostazione bloccherà le ricerche interne del sito che corrispondono ai pattern di attacchi di spam noti.

Impostazione di reindirizzamento URL "Pretty" a "RAW"

L'impostazione successiva a Filtra ricerca è Reindirizza URL "Pretty" a "RAW". Questo reindirizzerà gli URL di ricerca "pretty" come /search/ al valore predefinito di WordPress /?s=. Questo può consolidare gli URL di ricerca e ridurre il crawling di questi URL.

Impostazione blocco crawling URL di ricerca interna del sito

L'ultima impostazione è Blocca il crawling degli URL di ricerca interna del sito. Questo aggiungerà una regola Disallow al file robots.txt creato da WordPress per impedire il crawling degli URL delle pagine di ricerca. Ciò riduce il crawling non necessario del tuo sito.