Un negozio online può perdere visibilità per colpa di un file di poche righe. Si chiama robots.txt e sta nella cartella principale del sito (per esempio tuonegozio.it/robots.txt). Quando è scritto male, i motori di ricerca perdono tempo dove non serve e trascurano le pagine che dovrebbero vendere.
Pensa al robots.txt come alla persona all’ingresso di un grande negozio: non decide cosa piace ai clienti, ma indica ai visitatori automatici di Google e degli altri motori dove ha senso entrare e dove no.
Vediamo cosa bloccare, cosa lasciare aperto e come controllare di non aver fatto danni.
A cosa serve davvero
Il robots.txt dice ai programmi che esplorano il web per conto dei motori di ricerca (si chiamano «crawler», quello di Google è Googlebot) quali parti del sito possono visitare.
Una precisazione importante: non è un tasto «cancella». Se blocchi una pagina, non stai impedendo che compaia su Google: stai solo impedendo che venga letta. Una pagina bloccata può comparire comunque nei risultati, per esempio se altri siti la citano, solo senza descrizione.
Il robots.txt serve a togliere rumore, non a nascondere problemi.
E in un e-commerce il rumore è ovunque: filtri, ricerche interne, account, carrello, cassa, parametri di tracciamento. Se Googlebot passa il tempo su questi indirizzi, ne dedica meno a categorie e prodotti. Nei negozi piccoli il problema si sente poco; nei cataloghi grandi, con migliaia di combinazioni, può pesare.
Cosa conviene bloccare
Le aree da bloccare sono, quasi sempre, quelle che non devono comparire su Google e che creano pagine doppie o povere:
- area di amministrazione, accesso e account cliente: zone private, senza valore per la ricerca;
- carrello, cassa e conferma d’ordine: pagine temporanee, diverse per ogni cliente;
- risultati della ricerca interna: generano combinazioni infinite e pagine povere;
- indirizzi con parametri inutili: codici di tracciamento delle campagne (quelli con «utm»), sessioni, ordinamenti.
Attenzione ai filtri
Non tutti i filtri vanno bloccati in automatico. Se alcune combinazioni sono cercate davvero, per esempio «scarpe running donna» o una marca molto richiesta, quella pagina può avere valore. Bloccarla sarebbe come chiudere la vetrina migliore. Meglio farne una pagina vera e bloccare solo le combinazioni inutili. Ne parliamo in filtri e navigazione dell’e-commerce.
Lo stesso vale per le pagine successive degli elenchi (pagina 2, 3, 4…): vanno lasciate aperte, altrimenti Google fatica a raggiungere i prodotti che stanno in fondo. Trovi i dettagli in paginazione nell’e-commerce.
Cosa non bloccare mai
- Schede prodotto e categorie: sono le vetrine che portano visite e vendite.
- Home page, pagine informative e blog.
- File di grafica e funzionamento (fogli di stile CSS, JavaScript, immagini): se Google non può caricarli, non vede la pagina come la vede il cliente e la capisce peggio. È un errore vecchio, ma si trova ancora.
Robots.txt e noindex non sono la stessa cosa
Se vuoi togliere una pagina dai risultati di Google, lo strumento giusto è il noindex (un’indicazione scritta nella pagina che dice «non mostrarmi nei risultati»), non il robots.txt.
E c’è una trappola: se blocchi la pagina nel robots.txt, Google non la legge, quindi non vede nemmeno il noindex. Risultato: la pagina può restare nei risultati. Prima si decide la strada, poi la si applica. Ne parliamo in quando usare il noindex nell’e-commerce.
Allo stesso modo, il robots.txt non risolve i doppioni di pagina: per quelli serve il tag canonical.
Un esempio di logica
Per molti negozi basta una logica semplice:
- consentire tutto per impostazione predefinita;
- bloccare carrello, cassa, account e ricerca interna;
- bloccare i parametri chiaramente inutili, come quelli di tracciamento e di sessione;
- indicare in fondo l’indirizzo della sitemap, che aiuta i motori a trovare le pagine buone (ne parliamo in sitemap XML per e-commerce).
Le piattaforme più diffuse (Shopify, WooCommerce, PrestaShop, Magento) hanno già un robots.txt di partenza, spesso ragionevole. Si può partire da quello, ma senza copiare file trovati online alla cieca: ogni negozio ha categorie, filtri e indirizzi diversi.
E i programmi di intelligenza artificiale?
Nel robots.txt si possono dare istruzioni anche ai crawler di alcuni servizi di intelligenza artificiale, che dichiarano un proprio nome (per esempio GPTBot di OpenAI). Bloccarli o no è una scelta: impedisce di usare i tuoi contenuti per addestrare i modelli, ma può ridurre la presenza del negozio nelle risposte di quei servizi. Va decisa con calma, non copiando la regola da un altro sito.
I controlli da fare
Prima e dopo ogni modifica:
- salva una copia della versione precedente, per poter tornare indietro;
- controlla il rapporto sul robots.txt in Google Search Console, che mostra la versione letta da Google ed eventuali errori;
- prova lo strumento di controllo degli URL su una scheda prodotto e una categoria, per verificare che non siano bloccate;
- ricontrolla i rapporti di scansione dopo qualche giorno.
L’errore più grave, e più comune durante il rifacimento di un sito, è dimenticare online la regola che blocca tutto, usata mentre il negozio era in costruzione. Bastano due righe per sparire da Google.
Da dove partire
Il robots.txt migliore non è il più lungo: è quello che lascia lavorare Google sulle pagine che contano e lo tiene lontano dal rumore. Se blocca troppo, il negozio parla a voce bassa proprio dove dovrebbe farsi sentire.
Se stai costruendo il negozio, impostiamo queste basi tecniche fin dall’inizio in un e-commerce su misura. Se ce l’hai già e vuoi un controllo, ti aiutiamo con la SEO. Guarda cosa facciamo per i negozi e gli e-commerce, oppure parliamone: ti richiamiamo noi.



