Editor Robots.txt per reti multisito

Date un'occhiata al nostro video sull'utilizzo di All in One SEO su reti WordPress Multisite qui.

Se avete una rete multisito WordPress, potete gestire regole robots.txt globali che saranno applicate a tutti i siti della rete.

Video tutorial

Per iniziare, accedere all'amministrazione della rete e fare clic su All in One SEO > Strumenti di rete nel menu a sinistra.

Verrà visualizzato il nostro Editor Robots.txt standard, dove è possibile abilitare e gestire regole personalizzate per il robots.txt.

Fare clic sulla levetta Abilita Robots.txt personalizzato per attivare l'editor di regole.

Nella parte inferiore della schermata dovrebbe apparire la sezione Anteprima Robots.txt, che mostra le regole predefinite aggiunte da WordPress.

Regole di Robots.txt predefinite in WordPress

Le regole predefinite che appaiono nella sezione Anteprima di Robots.txt (mostrata nella schermata precedente) chiedono ai robot di non effettuare il crawling dei file principali di WordPress. Non è necessario che i motori di ricerca accedano direttamente a questi file perché non contengono alcun contenuto rilevante del sito.

Se per qualche motivo si desidera rimuovere le regole predefinite aggiunte da WordPress, è necessario utilizzare l'hook del filtro robots_txt di WordPress.

Aggiunta di regole con il Generatore di regole

Il costruttore di regole viene utilizzato per aggiungere regole personalizzate per percorsi specifici del sito.

Ad esempio, se si desidera aggiungere una regola per bloccare tutti i robot da una directory temporanea, si può usare il costruttore di regole per aggiungerla.

Per aggiungere una regola, inserire l'agente utente nel campo Agente utente. Utilizzando *, la regola verrà applicata a tutti gli agenti utente.

Quindi, selezionare Allow o Disallow per consentire o bloccare l'agente utente.

Quindi, inserire il percorso della directory o il nome del file nel campo Percorso directory.

Infine, fare clic sul pulsante Salva modifiche.

Se si desidera aggiungere altre regole, fare clic sul pulsante Aggiungi regola, ripetere i passaggi precedenti e fare clic sul pulsante Salva modifiche.

Le regole appariranno nella sezione Anteprima robots.txt e nel robots.txt che si può visualizzare facendo clic sul pulsante Apri robots.txt.

Qualsiasi regola aggiunta in questo punto si applica a tutti i siti della rete e non può essere sovrascritta a livello di singolo sito.

Modifica delle regole con il Generatore di regole

Per modificare qualsiasi regola aggiunta, basta cambiare i dettagli nel costruttore di regole e fare clic sul pulsante Salva modifiche.

Eliminazione di una regola nel Generatore di regole

Per eliminare una regola aggiunta, fare clic sull'icona del cestino a destra della regola.

Blocco dei crawler indesiderati

È possibile utilizzare il blocco dei crawler AI per aggiungere regole al file robots.txt che bloccano i crawler noti, come i crawler AI e Google AdsBot.

È possibile selezionare ciascuno dei crawler per bloccarli, oppure selezionare Tutti i crawler AI per bloccare tutti quelli elencati.

Blocco del crawling degli URL di ricerca interni al sito

È possibile utilizzare l'impostazione Block Crawling of Internal Site Search URLs per aggiungere regole al file robots.txt e impedire il crawling degli URL per le pagine di ricerca. In questo modo si riduce il crawling non necessario del sito.

Gestione del file Robots.txt per i siti secondari

Nell'Editor Robots.txt multisito è molto facile modificare le regole del robots per qualsiasi sito della rete.

Per iniziare, è sufficiente fare clic sul selettore di siti nella parte superiore dell'editor Robots.txt. Da qui selezionare il sito per il quale si desidera modificare le regole, oppure cercarlo digitando il dominio:

Una volta selezionato un sito, le regole sottostanti si aggiorneranno automaticamente e sarà possibile modificare le regole solo per quel sito. Assicurarsi di fare clic su Salva modifiche dopo aver modificato le regole per il sottosito.