Cos'è un file robots.txt?
Il file robots.txt è un documento di testo situato nella directory principale (root) di un sito web che indica ai crawler dei motori di ricerca quali pagine o sezioni devono o non devono essere scansionate. È uno strumento essenziale per gestire il crawl budget e impedire l'indicizzazione di parti sensibili o ridondanti del sito.
Il file robots.txt è essenzialmente un insieme di istruzioni per i robot del web (crawler). Quando un motore di ricerca come Google visita un sito, la prima cosa che cerca è questo file. Utilizza il 'Robots Exclusion Protocol' per impartire comandi come 'User-agent' (a chi si applica la regola) e 'Disallow' (quali percorsi devono essere ignorati). Sebbene sia eccellente per evitare che i crawler sprechino tempo su pagine di scarso valore — come schermate di login, risultati di ricerca interna o cartelle admin — è importante notare che il robots.txt non garantisce che una pagina resti fuori dall'indice di Google. Se una pagina è bloccata nel robots.txt ma riceve link esterni, Google potrebbe comunque indicizzarne l'URL. Per impedire realmente che una pagina appaia nei risultati di ricerca, è necessario un tag 'noindex'. Configurare male il file robots.txt è un errore SEO tecnico comune; bloccare accidentalmente l'intero sito può portare a una perdita totale di visibilità organica, quindi va gestito con estrema cautela.
Guida Passo-Passo
Individua o Crea il File
Assicurati che esista un file chiamato robots.txt nella root del tuo sito (es. esempio.it/robots.txt).
Definisci gli User-Agent
Specifica a quali bot si applicano le regole, usando un asterisco (*) per tutti i bot o 'Googlebot' per istruzioni specifiche.
Imposta le Regole di Disallow
Elenca le directory o i percorsi specifici che desideri mantenere privati per i crawler dei motori di ricerca.
Aggiungi il Link alla Sitemap
Includi un link diretto alla tua sitemap XML in fondo al file per aiutare i bot a trovare i tuoi contenuti.
Verifica Eventuali Errori
Usa lo strumento 'Tester dei file robots.txt' di Google Search Console per assicurarti di non bloccare pagine importanti.
Consigli Pro
- Usa 'Disallow' per pagine private o ripetitive come /wp-admin/ o /search/.
- Non usare mai il robots.txt per nascondere dati sensibili degli utenti; usa invece la protezione tramite password.
- Mantieni la sintassi semplice; regole troppo complesse possono causare errori di scansione.
Come pSeoMatic ti aiuta
pSeoMatic monitora automaticamente il tuo file robots.txt per rilevare modifiche impreviste. Se un programmatore blocca accidentalmente una sezione ad alto traffico del tuo sito, il nostro sistema invia un avviso immediato, prevenendo cali catastrofici della visibilità organica prima che impattino sul tuo fatturato.
Prova pSeoMatic gratuitamenteDomande Correlate
Il robots.txt può impedire l'indicizzazione di una pagina?
Smette la scansione (crawling), ma l'indicizzazione può avvenire comunque se altri siti linkano quella pagina. Usa il tag noindex per la rimozione totale.
Dove devo posizionare il file robots.txt?
Deve essere collocato nella directory root principale dell'hosting del tuo sito web.
Il robots.txt fa distinzione tra maiuscole e minuscole?
Sì, sia il nome del file che i percorsi delle directory elencati al suo interno sono case-sensitive.
Guide Correlate
Pronto a mettere in pratica tutto questo?
pSeoMatic genera migliaia di pagine ottimizzate per la SEO dai tuoi dati.