Recensire le pagine di un sito web professionale non si limita a esplorare il suo menu principale. Una parte non trascurabile degli URL pubblicati sfugge alla navigazione visibile: pagine di conversione senza link nell’intestazione, vecchie landing page ancora indicizzate, o contenuti accessibili solo tramite un motore di ricerca interno. Comprendere dove si trovano queste pagine e come accedervi in modo metodico consente di valutare la qualità reale di un sito ancor prima di analizzarne il contenuto.
Sitemap XML e robots.txt: cosa rivelano i file tecnici di un sito
Prima di lanciare qualsiasi strumento, due file accessibili da qualsiasi browser forniscono un primo stato delle cose. Il file sitemap XML, generalmente ospitato alla radice del dominio (dominio.com/sitemap.xml), elenca gli URL che il proprietario del sito desidera vedere indicizzati dai motori di ricerca. Questo file non elenca sempre la totalità delle pagine pubblicate, ma fornisce una base utilizzabile in pochi secondi.
Ulteriori letture : Come risolvere i problemi di segnalazione sulla tua Citroen C3 2020: il caso della spia chiave a brugola
Il file robots.txt (dominio.com/robots.txt) funziona al contrario: indica ai robot di esplorazione le directory o le pagine da non scansionare. Incrociare i due file consente di individuare aree del sito volutamente nascoste ai motori. Una direttiva “Disallow” su una directory /archive/ o /test/ segnala spesso pagine orfane o in fase di ristrutturazione, che rimangono comunque accessibili tramite URL diretto.
Questo approccio manuale è adatto per una prima diagnosi. Per andare oltre e esplorare le pagine del sito Businessmindset, una sitemap ben strutturata è sufficiente per mappare l’alberatura completa e identificare le sezioni principali a colpo d’occhio.
Da scoprire anche : Scopri come potenziare la tua carriera grazie a una piattaforma di lavoro innovativa
Operatori di ricerca Google: mappare un sito senza strumenti di terze parti
Il comando site:domaine.com in Google mostra tutte le pagine indicizzate per un dominio specifico. Il numero di risultati fornisce una stima del volume di pagine che Google conosce, anche se questo numero rimane approssimativo.
L’interesse di questo metodo va oltre il semplice conteggio. Combinando l’operatore “site:” con filtri, è possibile isolare categorie precise:
- site:domaine.com inurl:blog restituisce solo gli articoli del blog indicizzati, il che consente di misurare il volume di contenuti editoriali pubblicati.
- site:domaine.com filetype:pdf fa emergere i documenti PDF ospitati sul sito, spesso invisibili nella navigazione classica (white papers, cataloghi, condizioni generali).
- site:domaine.com -inurl:blog esclude il blog e fa apparire le pagine istituzionali, schede prodotto o landing page che compongono il cuore del sito.
Questa tecnica non richiede alcun accesso al back-office del sito. Funziona sia per auditare il proprio dominio che per analizzare la struttura di un concorrente. Tuttavia, le pagine bloccate dal robots.txt o dotate di un tag noindex non appariranno in questi risultati.
Crawlers SEO e limiti delle versioni gratuite per le piccole strutture
Gli strumenti di crawling come Screaming Frog o Sitebulb automatizzano l’esplorazione percorrendo ogni link interno di un sito, pagina per pagina, come un robot di motore di ricerca. Il risultato è un elenco completo degli URL scoperti, accompagnato da dati tecnici (codici HTTP, tag title, profondità di clic, link in entrata e in uscita).
Dal 2023-2024, diversi di questi strumenti hanno ristretto i limiti delle loro versioni gratuite: tetto massimo di URL scansionate, restrizioni sull’esportazione dei dati o rimozione di alcune funzionalità di audit. Per un sito di alcune decine di pagine, la versione gratuita rimane sufficiente. Oltre, la licenza a pagamento diventa difficile da aggirare.
Cosa fare senza budget per software dedicato
Google Search Console rimane uno strumento gratuito che elenca le pagine indicizzate di un sito, a condizione di esserne proprietario o amministratore. Il rapporto “Copertura” (o “Pagine” nell’interfaccia recente) elenca gli URL indicizzati, esclusi o con errori. Non sostituisce un crawler completo, ma identifica le pagine che Google ha effettivamente scoperto e quelle che ha deciso di ignorare.
Per un audit esterno (analizzare un sito terzo), la combinazione sitemap XML + operatori Google copre una parte significativa delle pagine accessibili. Nessuno strumento gratuito garantisce una copertura al 100%, soprattutto su siti voluminosi o con architettura complessa.
Pagine di conversione nascoste: il punto cieco degli audit superficiali
Le pagine più strategiche di un sito professionale non compaiono sempre nel menu. Pagine di preventivo, moduli di iscrizione, pagine di ringraziamento post-conversione, varianti di landing page per campagne pubblicitarie: questi URL partecipano direttamente al fatturato senza figurare nell’alberatura visibile.
I feedback di agenzie specializzate in B2B confermano che una parte significativa delle pagine decisive in un percorso di conversione rimane invisibile dalla navigazione principale. Sono accessibili solo tramite link interni profondi, email marketing o parametri URL dinamici.
Individuare queste pagine richiede di incrociare diverse fonti:
- Il crawl tecnico identifica gli URL collegati internamente ma assenti nel menu.
- La sitemap XML può includerli se il webmaster li ha dichiarati.
- I dati di analytics (GA4 o equivalente) rivelano le pagine consultate dai visitatori, anche senza un link di navigazione diretto.
Tuttavia, i dati disponibili tramite gli strumenti di analytics presentano una crescente limitazione. Con la generalizzazione del Consent Mode v2 di Google e il tasso di rifiuto dei cookie, una parte delle pagine visualizzate non è più contabilizzata nei rapporti. Le pagine realmente consultate dai visitatori potrebbero essere più numerose di quanto gli analytics mostrino.
Identificare le pagine orfane
Una pagina orfana non è collegata da nessun’altra pagina del sito. Esiste, è talvolta indicizzata, ma nessun percorso di navigazione vi conduce. I crawler SEO non possono scoprirla poiché seguono i link. Solo i dati della sitemap o della Search Console consentono di individuarla, confrontando l’elenco degli URL dichiarati con quelli effettivamente trovati dal crawl.
Un sito professionale che accumula pagine orfane diluisce il proprio budget di crawl e invia segnali contraddittori ai motori di ricerca. Rimuoverle o collegarle al maillage interno fa parte del lavoro di manutenzione che la maggior parte dei proprietari di siti trascura.
Esplorare metodicamente le pagine di un sito web implica accettare che nessun metodo unico sia sufficiente. La sitemap fornisce la struttura dichiarata, gli operatori Google mostrano ciò che è indicizzato, il crawler rivela il maillage reale, e gli analytics completano con i percorsi degli utenti. È il loro incrocio che produce una mappatura affidabile, non l’uso isolato di uno di essi.