Analysieren Sie Protokolldateien und übernehmen Sie die Kontrolle über Googlebot

Die Analyse von Log-Dateien ist den SEO-Vermarktern von Dtch. Digitals nicht unvertraut. In der Tat ist es ein Weg, um zu sehen, wie bestimmte Bots eine Website/einen Shop unserer Kunden crawlen. Wertvolle Daten, an denen wir unsere Arbeit entsprechend ausrichten.

Als das Referenten- und Themenprogramm von BrightonSEO bekannt wurde, beschloss ich, einige interessante Vorträge zu besuchen, in denen die Referenten weitere Einblicke in Logdateien gaben.

Vortrag von Serge Bezborodov

Der erste war ein Vortrag von Serge Bezborodov. Serge gab verschiedene Einblicke in das Verhalten von Googlebots auf der Grundlage von 80 Milliarden analysierten Protokollzeilen. So wies er beispielsweise darauf hin, dass es fast unmöglich ist, die gesamte Website zu crawlen/indizieren. Dennoch sei es ihm gelungen, 99,5 % einer Website/eines Shops zu indexieren. Dabei geht es um Geschäfte und Websites, die Zehntausende (und manchmal Millionen) von URLs haben.

Achten Sie immer auf Ihr magisches Dreieck

Es ist besonders wichtig, das “Magische Dreieck” richtig zu verstehen. Laut Serge sind dies drei Faktoren, auf die Sie besonders achten sollten:

• Links
• Inhalt
• Technik

Bei Links geht es vor allem um die interne Linkstruktur, natürlich sind Backlinks sehr wichtig, aber der Googlebot muss alle Seiten über die internen Links gut finden können. Über Logfiles kann man sehr gut herausfinden, welche Seiten oft gecrawlt werden, das sind vor allem Seiten, die also in den Augen des Googlebots wichtig sind.

Wenn sich herausstellt, dass der Googlebot den für Sie wichtigen Seiten in Bezug auf die Häufigkeit nicht viel Aufmerksamkeit schenkt, ist es ratsam, mehr interne Links zu diesen Seiten zu erstellen.

Neben der Häufigkeit ist es auch möglich, “verwaiste Seiten” zu finden. Später im Artikel werde ich wichtige Faktoren auflisten, die Sie aus den Logdateien entnehmen können.

Was den Inhalt betrifft, so war Serge ziemlich klar, dass man bei der Erstellung von SEO-Inhalten darauf achten sollte, dass die Qualität der geschriebenen Inhalte gut ist. Achten Sie insbesondere auch darauf, wie Google Ihre URLs über die Google Search Console betrachtet.

Als letzter Faktor zeigt Serge an, dass die Technik einer Seite wichtig ist, insbesondere die “Ladezeit” bestimmter Seiten. Wie die Nutzer möchte auch der Googlebot eine Seite schnell sehen und crawlen können; je länger dies dauert, desto weniger Aufmerksamkeit hat der Googlebot für Ihre anderen Seiten. Seien Sie sich außerdem darüber im Klaren, was über die robots.txt gecrawlt werden kann und was nicht.

Vortrag von Steven van Vessum

Dass Geschwindigkeit für Googlebot wichtig ist, war bekannt, wie der zweite Vortrag von Steven van Vessum(Get content crawled & ranked faster with log file insights) zeigte. Steven ist Direktor von Conductor und gab Einblicke in das Tool Contentking. Ein Tool, das bei Dtch. Digitals bereits häufig verwendet wird, um Schmerzpunkte in einer Website/einem Shop zu finden.

Schlusswort

Wie oben angedeutet, ist es besonders wichtig, eine gute Balance zwischen Technologie, interner Linkstruktur und Inhalt zu finden. Es hängt jedoch sehr stark davon ab, in welcher Branche man arbeitet oder wie die aktuelle Situation ist. Die Experimente von Serge haben besonders deutlich gemacht, dass alle drei Faktoren wichtig sind.

Es war sehr interessant zu sehen, wie Serge beim Testen aller Faktoren vorgegangen ist. Er erwähnte zum Beispiel, dass er eine Website mit nur geschriebenem KI-Inhalt (künstliche Intelligenz), aber einer großartigen internen Linkstruktur erstellt hatte. Hier hat Google zunächst “zugeschlagen”, kam aber bald zu dem Schluss, dass der Inhalt nicht optimal war.

So sah man anfangs meist gute Platzierungen, die später schnell wieder abfielen. In einem anderen Test hatte er überwiegend sehr guten Inhalt, eine gute Linkstruktur, aber eine sehr langsame Ladezeit platziert. Es war interessant zu sehen, wie Googlebot dies interpretierte.

Warum ist die Analyse von Logfiles wichtig?

Durch Logfiles kann man wertvolle und konkrete Daten darüber erhalten, wie Bots Ihre Website/Shop crawlen und bewerten. Als SEO-Experten sind wir natürlich hauptsächlich an Googlebot interessiert.

Hier sind einige Beispiele für Daten, die sich aus der Analyse eines Logfiles ergeben.

• Bemerkenswerte Statuscodes

Wir sehen genau, welche Seiten einen auffälligen Statuscode haben. Wir sehen zum Beispiel, dass ein Kunde viele 404-Seiten oder viele 301-Verweise hat. Diese Art von Seiten haben oft keinen Mehrwert, warum also lassen wir Googlebot sie crawlen.

• Am bemerkenswertesten

Wir sehen, welche Seiten am interessantesten sind, da eine Unterscheidung anhand der Anzahl der “Hits” getroffen wird, die eine Seite erhält. Sie möchten natürlich, dass Ihre wichtigen Seiten am häufigsten gecrawlt werden. Sollte sich herausstellen, dass dies nicht der Fall ist, können Sie hier weitere Schritte einleiten.

• Bots verstehen

Anhand einer Logdatei können Sie genau sehen, welche Bots eine Website crawlen. Sind dies auch die Bots, von denen Sie Aufmerksamkeit erhalten möchten? Anhand dieser Daten können Sie irrelevante Bots ausschließen und so die Belastung des Servers verringern.

• Daten auslesen

Zusätzlich zu den oben genannten Daten können Sie in einer Logdatei auch Daten über die Größe der Seiten auslesen. Schließlich soll ein Bot eine Seite schnell crawlen, damit er zur nächsten Seite weitergehen kann. Wenn jedoch viele Seiten zu groß sind, dauert das Crawling länger und wichtige Seiten können übersehen werden.

• Erkennen von schwebenden Seiten

Ein weiterer interessanter Punkt ist die Entdeckung von “verwaisten Seiten”, d. h. Seiten, die keine Verweise von anderen Seiten erhalten. Es handelt sich dabei um Seiten, die zwar online sind, aber von Bots (und vielleicht auch von Nutzern) nur sehr schwer gefunden werden können. Wenn diese Seiten relevant sind, können Sie ihnen nachgehen. Sind sie nicht (oder nicht mehr) relevant

Erste Schritte mit Ihren Protokolldateien

Die Analyse einer Protokolldatei kann also durchaus dazu beitragen, Ihre organische Auffindbarkeit zu verbessern. Es ist jedoch ratsam, alle Daten miteinander zu verknüpfen. Beginnen Sie also nicht nur mit einer Logdatei, sondern bündeln Sie diese Informationen mit den Daten, die Sie z. B. von der Google Search Console erhalten.

Setzen Sie Prioritäten für die Problembereiche und beginnen Sie mit der Verbesserung Ihres eigenen “magischen Dreiecks”. Sie können damit viel erreichen, und ich bin gespannt, wie Sie es einsetzen werden.