Un negozio online può perdere visibilità per colpa di un file di poche righe. Si chiama robots.txt e sta nella cartella principale del sito (per esempio tuonegozio.it/robots.txt). Quando è scritto male, i motori di ricerca perdono tempo dove non serve e trascurano le pagine che dovrebbero vendere.

Pensa al robots.txt come alla persona all’ingresso di un grande negozio: non decide cosa piace ai clienti, ma indica ai visitatori automatici di Google e degli altri motori dove ha senso entrare e dove no.

Vediamo cosa bloccare, cosa lasciare aperto e come controllare di non aver fatto danni.

A cosa serve davvero

Il robots.txt dice ai programmi che esplorano il web per conto dei motori di ricerca (si chiamano «crawler», quello di Google è Googlebot) quali parti del sito possono visitare.

Una precisazione importante: non è un tasto «cancella». Se blocchi una pagina, non stai impedendo che compaia su Google: stai solo impedendo che venga letta. Una pagina bloccata può comparire comunque nei risultati, per esempio se altri siti la citano, solo senza descrizione.

Il robots.txt serve a togliere rumore, non a nascondere problemi.

E in un e-commerce il rumore è ovunque: filtri, ricerche interne, account, carrello, cassa, parametri di tracciamento. Se Googlebot passa il tempo su questi indirizzi, ne dedica meno a categorie e prodotti. Nei negozi piccoli il problema si sente poco; nei cataloghi grandi, con migliaia di combinazioni, può pesare.

Cosa conviene bloccare

Le aree da bloccare sono, quasi sempre, quelle che non devono comparire su Google e che creano pagine doppie o povere:

  • area di amministrazione, accesso e account cliente: zone private, senza valore per la ricerca;
  • carrello, cassa e conferma d’ordine: pagine temporanee, diverse per ogni cliente;
  • risultati della ricerca interna: generano combinazioni infinite e pagine povere;
  • indirizzi con parametri inutili: codici di tracciamento delle campagne (quelli con «utm»), sessioni, ordinamenti.

Attenzione ai filtri

Non tutti i filtri vanno bloccati in automatico. Se alcune combinazioni sono cercate davvero, per esempio «scarpe running donna» o una marca molto richiesta, quella pagina può avere valore. Bloccarla sarebbe come chiudere la vetrina migliore. Meglio farne una pagina vera e bloccare solo le combinazioni inutili. Ne parliamo in filtri e navigazione dell’e-commerce.

Lo stesso vale per le pagine successive degli elenchi (pagina 2, 3, 4…): vanno lasciate aperte, altrimenti Google fatica a raggiungere i prodotti che stanno in fondo. Trovi i dettagli in paginazione nell’e-commerce.

Cosa non bloccare mai

  • Schede prodotto e categorie: sono le vetrine che portano visite e vendite.
  • Home page, pagine informative e blog.
  • File di grafica e funzionamento (fogli di stile CSS, JavaScript, immagini): se Google non può caricarli, non vede la pagina come la vede il cliente e la capisce peggio. È un errore vecchio, ma si trova ancora.

Robots.txt e noindex non sono la stessa cosa

Se vuoi togliere una pagina dai risultati di Google, lo strumento giusto è il noindex (un’indicazione scritta nella pagina che dice «non mostrarmi nei risultati»), non il robots.txt.

E c’è una trappola: se blocchi la pagina nel robots.txt, Google non la legge, quindi non vede nemmeno il noindex. Risultato: la pagina può restare nei risultati. Prima si decide la strada, poi la si applica. Ne parliamo in quando usare il noindex nell’e-commerce.

Allo stesso modo, il robots.txt non risolve i doppioni di pagina: per quelli serve il tag canonical.

Un esempio di logica

Per molti negozi basta una logica semplice:

  • consentire tutto per impostazione predefinita;
  • bloccare carrello, cassa, account e ricerca interna;
  • bloccare i parametri chiaramente inutili, come quelli di tracciamento e di sessione;
  • indicare in fondo l’indirizzo della sitemap, che aiuta i motori a trovare le pagine buone (ne parliamo in sitemap XML per e-commerce).

Le piattaforme più diffuse (Shopify, WooCommerce, PrestaShop, Magento) hanno già un robots.txt di partenza, spesso ragionevole. Si può partire da quello, ma senza copiare file trovati online alla cieca: ogni negozio ha categorie, filtri e indirizzi diversi.

E i programmi di intelligenza artificiale?

Nel robots.txt si possono dare istruzioni anche ai crawler di alcuni servizi di intelligenza artificiale, che dichiarano un proprio nome (per esempio GPTBot di OpenAI). Bloccarli o no è una scelta: impedisce di usare i tuoi contenuti per addestrare i modelli, ma può ridurre la presenza del negozio nelle risposte di quei servizi. Va decisa con calma, non copiando la regola da un altro sito.

I controlli da fare

Prima e dopo ogni modifica:

  • salva una copia della versione precedente, per poter tornare indietro;
  • controlla il rapporto sul robots.txt in Google Search Console, che mostra la versione letta da Google ed eventuali errori;
  • prova lo strumento di controllo degli URL su una scheda prodotto e una categoria, per verificare che non siano bloccate;
  • ricontrolla i rapporti di scansione dopo qualche giorno.

L’errore più grave, e più comune durante il rifacimento di un sito, è dimenticare online la regola che blocca tutto, usata mentre il negozio era in costruzione. Bastano due righe per sparire da Google.

Da dove partire

Il robots.txt migliore non è il più lungo: è quello che lascia lavorare Google sulle pagine che contano e lo tiene lontano dal rumore. Se blocca troppo, il negozio parla a voce bassa proprio dove dovrebbe farsi sentire.

Se stai costruendo il negozio, impostiamo queste basi tecniche fin dall’inizio in un e-commerce su misura. Se ce l’hai già e vuoi un controllo, ti aiutiamo con la SEO. Guarda cosa facciamo per i negozi e gli e-commerce, oppure parliamone: ti richiamiamo noi.