Wie führe ich eine Logfile-Analyse für technisches SEO durch?
Die Logfile-Analyse umfasst die Untersuchung von Server-Logs, um genau zu sehen, wie Search Engine Bots Ihre Website crawlen. Sie zeigt auf, welche Seiten am häufigsten gecrawlt werden, welche ignoriert werden und wo Bots auf Fehler (wie 404 oder 500) stoßen, die Tools wie die Search Console möglicherweise übersehen.
Die Logfile-Analyse ist der einzige Weg, um zu 100 % genaue Daten über das Verhalten von Suchmaschinen-Crawlern zu erhalten. Während Tools wie die Google Search Console Zusammenfassungen liefern, zeichnen Server-Logs jede einzelne Anfrage von Googlebot, Bingbot und anderen auf. Um dies durchzuführen, müssen Sie zunächst Ihre Access-Logs von Ihrem Server (Apache, Nginx oder IIS) exportieren. Diese Logs enthalten die IP-Adresse, den Zeitstempel, die angeforderte URL, den User-Agent und den HTTP-Statuscode für jeden Zugriff. Durch das Filtern dieser Logs nach Search Engine User-Agents (und die Verifizierung ihrer IPs, um Scraper auszuschließen) können Sie Verschwendung beim 'Crawl Budget' identifizieren. Beispielsweise könnten Sie feststellen, dass Google 50 % der Zeit auf minderwertigen Facetten-Seiten verbringt, anstatt Ihre meistverkauften Produkte zu crawlen. Zudem lassen sich so 'verwaiste Seiten' (Orphaned Pages) finden – Seiten, die Bots über alte Links entdecken, die aber nicht in Ihrer Sitemap oder internen Navigation enthalten sind. Die Analyse der Crawl-Frequenz gibt Ihnen zudem Aufschluss darüber, wie wichtig Google diesen Inhalt einstuft. Dies ist eine anspruchsvolle technische SEO-Aufgabe, die besonders für große, komplexe Websites essenziell ist, bei denen Crawl-Effizienz ein entscheidender Ranking-Faktor ist.
Schritt-für-Schritt-Anleitung
Server-Logs abrufen
Laden Sie die rohen Access-Logs von Ihrem Webserver oder über Ihr Hosting-Control-Panel herunter.
Nach Bots filtern
Verwenden Sie ein Tool, um die Daten gezielt nach verifizierten Search Engine Crawlern (Googlebot etc.) zu filtern.
Fehlercodes identifizieren
Suchen Sie nach einer hohen Frequenz von 4xx- oder 5xx-Fehlern, auf die Bots während des Crawlings stoßen.
Crawl-Frequenz analysieren
Stellen Sie fest, welche Seiten zu oft und welche nicht oft genug gecrawlt werden.
Basierend auf Daten optimieren
Aktualisieren Sie die robots.txt oder die interne Verlinkung, um Bots zu Ihren wichtigsten Inhalten zu leiten.
Pro-Tipps
- Verifizieren Sie stets die IP-Adresse des Bots, um sicherzustellen, dass es ein echter Crawler und kein Scraper ist.
- Suchen Sie nach 'Crawl-Fallen' – URLs mit unendlichen Parametern, in denen sich Bots festfahren.
- Vergleichen Sie Ihre Log-Daten mit Ihrer XML-Sitemap, um Lücken in der Abdeckung zu finden.
- Analysieren Sie die Crawl-Frequenz von Mobile vs. Desktop, um Ihren Status beim Mobile-First-Indexing zu verstehen.
Wie pSeoMatic hilft
pSeoMatic vereinfacht die Logfile-Analyse, indem es direkt mit Server-Logs integriert wird, um ein Echtzeit-Dashboard des Bot-Verhaltens zu bieten. Wir übersetzen rohe Serverdaten in handfeste Insights und zeigen Ihnen exakt, wo Crawl Budget verschwendet wird, damit Sie den Googlebot auf die Seiten umleiten können, die wirklich für Ihren ROI zählen.
pSeoMatic kostenlos testenÄhnliche Fragen
Was ist der Unterschied zwischen GSC und Logfiles?
Die GSC bietet eine stichprobenartige Übersicht, während Logfiles jeden einzelnen Zugriff eines Crawlers ohne Sampling protokollieren.
Wie oft sollte ich eine Log-Analyse durchführen?
Bei großen Portalen monatlich; bei kleineren Seiten ein- bis zweimal pro Jahr oder nach einem großen Relaunch.
Hilft die Log-Analyse bei der Page Speed?
Indirekt, da sie zeigt, welche Anfragen serverseitig zu lange brauchen (Time to First Byte).
Ähnliche Guides
Bereit, dies in die Tat umzusetzen?
pSeoMatic generiert tausende SEO-optimierte Seiten aus Ihren Daten.