Die Erfassung der Seiten einer professionellen Website beschränkt sich nicht darauf, das Hauptmenü zu durchforsten. Ein erheblicher Teil der veröffentlichten URLs entgeht der sichtbaren Navigation: Conversion-Seiten ohne Links im Header, alte Landing Pages, die weiterhin indexiert sind, oder Inhalte, die nur über eine interne Suchmaschine zugänglich sind. Zu verstehen, wo sich diese Seiten befinden und wie man systematisch darauf zugreifen kann, ermöglicht es, die tatsächliche Qualität einer Website zu bewerten, noch bevor man ihren Inhalt analysiert.
XML-Sitemap und robots.txt: Was die technischen Dateien einer Website offenbaren
Bevor man ein beliebiges Tool startet, geben zwei Dateien, die von jedem Browser aus zugänglich sind, einen ersten Überblick. Die Datei sitemap XML, die normalerweise im Wurzelverzeichnis der Domain gehostet wird (domain.com/sitemap.xml), listet die URLs auf, die der Eigentümer der Website von den Suchmaschinen indexiert sehen möchte. Diese Datei erfasst nicht immer alle veröffentlichten Seiten, bietet jedoch eine in wenigen Sekunden nutzbare Grundlage.
Ergänzende Lektüre : Erfahren Sie, wie Sie schnell die besten Immobilienanzeigen online finden können
Die Datei robots.txt (domain.com/robots.txt) funktioniert umgekehrt: Sie weist die Crawling-Roboter darauf hin, welche Verzeichnisse oder Seiten nicht gecrawlt werden sollen. Das Zusammenführen der beiden Dateien ermöglicht es, Bereiche der Website zu identifizieren, die absichtlich vor den Suchmaschinen verborgen sind. Eine “Disallow”-Richtlinie für ein Verzeichnis /archive/ oder /test/ weist oft auf verwaiste Seiten oder Seiten hin, die sich in der Überarbeitung befinden, die jedoch weiterhin über direkte URLs zugänglich sind.
Dieser manuelle Ansatz eignet sich für eine erste Diagnose. Um weiterzugehen und die Seiten der Website Businessmindset zu erkunden, reicht eine gut strukturierte Sitemap aus, um die gesamte Baumstruktur zu kartografieren und die Hauptkategorien auf einen Blick zu identifizieren.
Ergänzende Lektüre : Entdecken Sie, wie Sie Ihre Karriere mit einer innovativen Jobplattform vorantreiben können
Google-Suchoperatoren: Eine Website ohne Drittanbieter-Tools kartografieren
Der Befehl site:domaine.com in Google zeigt alle indexierten Seiten für eine gegebene Domain an. Die Anzahl der Ergebnisse gibt eine Schätzung des Seitenvolumens an, das Google kennt, auch wenn diese Zahl ungefähren Charakter hat.
Der Vorteil dieser Methode geht über das einfache Zählen hinaus. Durch die Kombination des Operators “site:” mit Filtern kann man bestimmte Kategorien isolieren:
- site:domaine.com inurl:blog gibt nur die indexierten Blogartikel zurück, was es ermöglicht, das Volumen des veröffentlichten redaktionellen Inhalts zu messen.
- site:domaine.com filetype:pdf bringt die auf der Website gehosteten PDF-Dokumente hervor, die oft in der klassischen Navigation unsichtbar sind (Whitepapers, Kataloge, Allgemeine Geschäftsbedingungen).
- site:domaine.com -inurl:blog schließt den Blog aus und zeigt die institutionellen Seiten, Produktblätter oder Landing Pages, die den Kern der Website bilden.
Diese Technik erfordert keinen Zugriff auf das Backend der Website. Sie funktioniert sowohl zur Überprüfung der eigenen Domain als auch zur Analyse der Struktur eines Mitbewerbers. Seiten, die durch die robots.txt blockiert oder mit einem noindex-Tag versehen sind, erscheinen jedoch nicht in diesen Ergebnissen.
SEO-Crawler und Grenzen der kostenlosen Versionen für kleine Strukturen
Crawl-Tools wie Screaming Frog oder Sitebulb automatisieren die Erkundung, indem sie jeden internen Link einer Website, Seite für Seite, wie ein Suchmaschinen-Roboter durchlaufen. Das Ergebnis ist eine vollständige Liste der entdeckten URLs, begleitet von technischen Daten (HTTP-Codes, Title-Tags, Klicktiefe, eingehende und ausgehende Links).
Seit 2023-2024 haben mehrere dieser Tools die Grenzen ihrer kostenlosen Versionen verschärft: Obergrenze für gecrawlte URLs, Einschränkungen beim Export von Daten oder die Streichung bestimmter Audit-Funktionen. Für eine Website mit einigen Dutzend Seiten reicht die kostenlose Version aus. Darüber hinaus wird die kostenpflichtige Lizenz schwer zu umgehen.
Was tun ohne ein spezielles Software-Budget
Die Google Search Console bleibt ein kostenloses Tool, das die indexierten Seiten einer Website erfasst, vorausgesetzt, man ist Eigentümer oder Administrator. Der Bericht “Abdeckung” (oder “Seiten” in der aktuellen Benutzeroberfläche) listet die indexierten, ausgeschlossenen oder fehlerhaften URLs auf. Es ersetzt keinen vollständigen Crawler, identifiziert jedoch die Seiten, die Google tatsächlich entdeckt hat, und die, die es entschieden hat, zu ignorieren.
Für ein externes Audit (Analyse einer Drittwebsite) deckt die Kombination aus XML-Sitemap + Google-Operatoren einen signifikanten Teil der zugänglichen Seiten ab. Kein kostenloses Tool garantiert eine 100%ige Abdeckung, insbesondere bei umfangreichen oder komplex strukturierten Websites.
Versteckte Conversion-Seiten: Der blinde Fleck bei Oberflächen-Audits
Die strategischsten Seiten einer professionellen Website erscheinen nicht immer im Menü. Angebotsseiten, Anmeldeformulare, Dankesseiten nach der Conversion, Varianten von Landing Pages für Werbekampagnen: Diese URLs tragen direkt zum Umsatz bei, ohne in der sichtbaren Baumstruktur aufzufallen.
Die Rückmeldungen von B2B-spezialisierten Agenturen bestätigen, dass ein erheblicher Teil der entscheidenden Seiten in einem Conversion-Prozess von der Hauptnavigation aus unsichtbar bleibt. Sie sind nur über tiefe interne Links, Marketing-E-Mails oder dynamische URL-Parameter zugänglich.
Diese Seiten zu identifizieren erfordert das Zusammenführen mehrerer Quellen:
- Der technische Crawl identifiziert die intern verlinkten URLs, die jedoch im Menü fehlen.
- Die XML-Sitemap kann sie enthalten, wenn der Webmaster sie deklariert hat.
- Die Analytics-Daten (GA4 oder Äquivalent) zeigen die Seiten, die von den Besuchern aufgerufen wurden, selbst ohne direkten Navigationslink.
Die über die Analytics-Tools verfügbaren Daten weisen jedoch eine zunehmende Grenze auf. Mit der Verbreitung des Consent Mode v2 von Google und der Ablehnungsrate von Cookies werden einige der angesehenen Seiten nicht mehr in den Berichten erfasst. Die Seiten, die tatsächlich von den Besuchern aufgerufen werden, sind potenziell zahlreicher als das, was die Analytics anzeigen.
Identifizierung von verwaisten Seiten
Eine verwaiste Seite ist von keiner anderen Seite der Website verlinkt. Sie existiert, ist manchmal indexiert, aber es führt kein Navigationspfad dorthin. SEO-Crawler können sie nicht entdecken, da sie den Links folgen. Nur die Daten der Sitemap oder der Search Console ermöglichen es, sie zu identifizieren, indem die Liste der deklarierten URLs mit den tatsächlich durch den Crawl gefundenen verglichen wird.
Eine professionelle Website, die verwaiste Seiten anhäuft, verwässert ihr Crawl-Budget und sendet widersprüchliche Signale an die Suchmaschinen. Diese zu entfernen oder sie mit dem internen Linknetz zu verbinden, gehört zu den Wartungsarbeiten, die die meisten Website-Besitzer vernachlässigen.
Die systematische Erkundung der Seiten einer Website setzt voraus, dass man akzeptiert, dass keine einzige Methode ausreicht. Die Sitemap gibt die deklarierte Struktur an, die Google-Operatoren zeigen, was indexiert ist, der Crawler offenbart das tatsächliche Linknetz, und die Analytics ergänzen die Benutzerpfade. Es ist ihr Zusammenspiel, das eine zuverlässige Kartierung erzeugt, nicht die isolierte Verwendung eines einzelnen von ihnen.