Analyseer logfiles en krijg controle over Googlebot

Het analyseren van logfiles is bij de SEO marketeers van Dtch. Digitals niet onbekend. Het is namelijk een manier om daadwerkelijk te zien hoe bepaalde bots een site/shop crawlen van onze klanten. Waardevolle data waar wij vervolgens onze werkzaamheden op afstellen.

Toen het programma van BrightonSEO bekend werd van de sprekers en onderwerpen besloot ik een aantal interessante lezingen te volgen waarbij sprekers meer inzicht gaven in log files.

Lezing van Serge Bezborodov

De eerste was een lezing van Serge Bezborodov. Serge had meerdere inzichten over het gedrag van Googlebots op basis van 80 miljard geanalyseerde logregels. Zo gaf Serge aan dat het bijna onmogelijk is om de gehele website te laten crawlen/indexeren. Toch was het hem gelukt om 99.5% van een site/shop te indexeren. Het gaat hierbij dan wel om shops en sites die tienduizenden (en soms miljoenen) URL’s hebben.

Bekijk altijd je Magic Triangle

Het is met name belangrijk dat er een goede balans komt tussen de ‘Magic triangle’. Dit zijn volgens Serge drie factoren waar je vooral op moet letten:

• Links
• Content
• Techniek

Bij links draait het voornamelijk om de interne linkstructuur, uiteraard zijn backlinks zeer belangrijk, maar Googlebot moet alle pagina’s goed kunnen vinden door middel van interne links. Via logfiles kun je heel goed achterhalen welke pagina’s vaak gecrawld worden, dit zijn met name pagina’s die dus belangrijk zijn in de ogen van de Googlebot.

Mocht blijken dat er dus qua frequentie weinig aandacht gegeven wordt van Googlebot aan voor jouw belangrijke pagina’s dan is het verstandig om meer interne links aan te leggen naar die pagina’s.

Naast het zien van de frequentie is het ook mogelijk om ‘orphan pages’ te vinden, later in het artikel zal ik een opsomming geven van belangrijke factoren die je kan halen uit logfiles.

Over content was Serge vrij duidelijk, zorg ervoor dat de kwaliteit goed is van de geschreven content bij het SEO content laten schrijven. Bekijk met name ook hoe Google kijkt naar je URL’s via Google Search Console.

Als laatste factor geeft Serge aan dat de techniek belangrijk is van een pagina, met name de ‘load time’ van specifieke pagina’s. Net zoals gebruikers wil Googlebot ook snel een pagina kunnen zien en crawlen, hoe langer dit duurt des te minder aandacht Googlebot heeft voor je andere pagina’s. Wees daarnaast duidelijk in wat wel en niet gecrawld mag worden via robots.txt.

Lezing van Steven van Vessum

Dat snelheid belangrijk is voor Googlebot was bekend, zo bleek ook uit de tweede lezing van Steven van Vessum (Get content crawled & ranked faster with log file insights). Steven is directeur van Conductor en gaf inzicht in de tool Contentking. Een tool die bij Dtch. Digitals al vaak gebruikt wordt voor het vinden van pijnpunten in een site/shop.

Concluderend

Zoals hierboven aangegeven is het vooral belangrijk dat er een goede balans gevonden gaat worden in techniek, interne linkstructuur en content. Het is echter zeer afhankelijk in welke branche je werkzaam bent of wat de huidige situatie is. Door de experimenten van Serge is het vooral duidelijk geworden dat alle drie de factoren belangrijk zijn.

Het was zeer interessant om te zien hoe Serge alle factoren ging testen, zo gaf hij aan dat hij een site had gemaakt met alleen maar geschreven AI (artificial intelligence) content, maar een geweldige interne linkstructuur. Hier ‘trapte’ Google in het begin wel in, maar kwam al snel tot de conclusie dat de content niet optimaal was.

In het begin zag je dus vooral goede rankings en dat daalde later snel. Bij een andere test had hij voornamelijk zeer goede content geplaatst, een goede linkstructuur, maar een zeer trage onload time. Het was interessant om te zien hoe Googlebot dit interpreteerde.

Waarom analyseren van logfiles belangrijk is?

Via logfiles kan men waardevolle en concrete data krijgen hoe bots je site/shop crawlen en beoordelen. Uiteraard zijn wij als SEO experts voornamelijk geïnteresseerd in Googlebot.

Hieronder een aantal voorbeelden van data die komen uit het analyseren van een logfile.

• Opvallende statuscode

We zien exact welke pagina’s een opvallende statuscode hebben, zo zien wij bijvoorbeeld dat een klant veel 404 pagina’s heeft of veel 301 verwijzingen heeft. Dit soort pagina’s hebben vaak geen toegevoegde waarde, waarom laten we Googlebot dan de moeite nemen om deze te crawlen.

• Meest opvallende

We zien welke pagina’s het meeste interessant zijn, er wordt namelijk onderscheid gemaakt in het aantal ‘hits’ dat pagina’s krijgen. Je wilt natuurlijk dat je belangrijke pagina’s het vaakst gecrawld worden. Als blijkt dat dit niet het geval is dan kun je hier vervolgstappen opnemen.

• Inzicht in bots

Via een logfile kun je exact zien welke bots allemaal een site crawlen, zijn dit ook de bots waar je de aandacht van wilt hebben? Door deze data kun je bots uitsluiten die irrelevant zijn, dit zorgt voor minder belasting van de server.

• Data uitlezen

Naast bovenstaande data kun je met een logfile ook data uitlezen m.b.t. de grootte van pagina’s, je wilt immers dat een bot snel een pagina crawlt zodat die verder kan naar de volgende. Als er echter veel pagina’s tussen zitten die te groot zijn dan duurt het crawlen langer en kunnen belangrijke pagina’s genegeerd worden.

• Zwevende pagina’s ontdekken

Een ander interessante punt is het ontdekken van ‘orphan pages’, dit zijn pagina’s die geen verwijzingen krijgen vanuit andere pagina’s. Letterlijk dus zweefpagina’s die online staan, maar heel lastig te vinden zijn voor bots (en wellicht gebruikers). Zijn deze pagina’s relevant dan kun je hier vervolgstappen op nemen. Zijn ze niet (meer) relevant

Aan de slag met jouw logfiles

Het analyseren van een logfile kan dus zeker bijdragen aan het verbeteren van je organische vindbaarheid. Het is echter verstandig om alle data te koppelen aan elkaar, ga dus niet enkel uit van een logfile, maar bundel deze informatie met bijvoorbeeld de data die krijgt uit Google Search Console.

Prioriteer de pijnpunten en ga bezig met het verbeteren van je eigen ‘Magic Triangle’. Je kunt er veel mee bereiken, dus ik ben benieuwd hoe jij het gaat gebruiken.