Informatie voor en door ondernemers. Alles om jouw bedrijf beter te maken.

Home 9 Marketing 9 Website crawlen, hoe werkt de Google crawler & Google robots?

Website crawlen, hoe werkt de Google crawler & Google robots?

website crawlen
Auteur: Kaj

Laatst bijgewerkt: 1 november 2024

Leestijd: 5 minuten

Je website crawlen is iets waar je misschien niet zo vaak over nadenkt omdat het op de achtergrond gebeurt. Toch is de werking van de Google crawler een van de belangrijkste dingen voor organische bezoekers.

In dit artikel vertel ik je alles over je website crawlen, de Google robots die dit doen en hoe jij eventuele crawl fouten kunt ontdekken. Weet jij hoe de Google crawler werkt?

Ben je het zat om niet hoog in Google te staan?

Met de juiste tools doe je eenvoudig zoekwoorden onderzoek, kijk je de werkende strategieën af van je concurrenten en werk je met data aan een gedegen strategie! Code: "hoebeginik" lifetime korting.

Crawlen betekenis

De crawlen betekenis is letter ‘kruipen’. Voor een Google crawler betekent dit dat ze op een webpagina de tekst bij langs gaan en door middel van links op de pagina een pad volgen.

Hoe beter de Google robots de route op je website kunnen vervolgen en daardoor je website kunnen indexeren, hoe beter dit is voor je SEO resultaat. Het is daarom heel belangrijk dat je weet hoe een crawler oftewel SEO spider werkt.

Hoe werkt een Google crawler?

Google heeft de taak om iedere pagina op het internet te indexeren. Dit is een hele klus, want wereldwijd zijn er miljarden pagina’s (bron, 2024) en dit worden er iedere dag veel meer.

Omdat chef indexeren van Google dit niet allemaal zelfstandig kan doen is er een robot voor gemaakt om het even simpel te zeggen. De Google crawler oftewel SEO spider.

Deze begint op een pagina en gaat van boven naar beneden de tekst bij langs om in kaart te brengen waar de pagina over gaat. Bij iedere link naar een interne of externe pagina neemt de crawler een afslag naar die betreffende pagina om zo ook daar een kijkje te nemen.

Het is daarom belangrijk om op je website de interne linkstructuur op orde te hebben. Pagina’s waarna niet gelinkt worden kan een Google crawler daarom niet vinden. We noemen dit ook wel een orphan page.

Dit mechanisme is ook de reden dat linkbuilding nog steeds een hele belangrijke ranking factor is. Dit staat aan de basis van SEO en de werking van Google. 

Zodra een robot een externe link vindt op een pagina zonder no-follow attribuut zal de robot ook deze link volgen. Hiermee geef je een signaal af aan Google dat er blijkbaar waardevolle informatie op die pagina staat. Anders zou je er niet naartoe linken.

Kom hoger in Google & krijg meer bezoekers naar je website met onze SEO Checklist 🚀

Verover de zoekresultaten met onze easy to use SEO-checklist waarin we stap voor stap uitleggen hoe je een goede webpagina opbouwt & optimaliseert voor de zoekmachines.

Bekijk ons ebook
Hoebeginik met SEO teksten schrijven

Crawl budget, hoe vaak komt een crawler langs?

Websites veranderen. Er worden nieuwe pagina’s geplaatst, artikelen worden aangepast of worden verwijderd. Een Google crawler komt daarom vaker langs op een website. Hoe vaker de crawler je website bezoekt, hoe sneller je nieuwe content geïndexeerd kan worden.

Dit is een kostbare bezigheid voor zoekmachines en daarom heeft iedere website een crawlbudget. Dit bepaalt hoe vaak de SEO spider je website bezoekt. Voor nieuwe websites kan dat eens in de maand of zelfs minder zijn, voor grote websites iedere dag of zelfs nog vaker.

Een aantal dingen die je kunt doen om het crawlbudget van je website te verhogen zijn:

  • Regelmatiger content publiceren
  • Kwalitatieve content publiceren
  • Veel externe links naar je website krijgen
  • De artikelen posten op social media (social signals)
  • De structuur van je website op orde hebben

Regelmatiger content publiceren

Iedere keer dat de crawler op je website komt kijkt het wat er anders is. Als dit niet zoveel is zal de crawler besluiten om minder vaak langs te komen. Er is immers toch niet nieuwe content dat geïndexeerd moet worden.

Door regelmatig nieuwe content te publiceren kan je als het ware de urgentie bij de crawler aangeven. Google mist veel nieuwe content als ze minder vaak langskomen. Voor zoekmachines is het belangrijk om een zo’n goed mogelijk resultaat weer te geven en als jouw nieuwe content onder die noemer valt, heeft de crawler geen keuze om vaker je website te bezoeken.

Kwalitatieve content publiceren

Alleen meer content plaatsen is niet genoeg. Het gaat Google om kwalitatieve content voor de gebruikers van het internet. Een website dat honderden artikelen plaatst per dag die allemaal hetzelfde zijn bijvoorbeeld hebben geen meerwaarde.

Ook in dit geval zullen de Google robots besluiten je website minder vaak te bezoeken. Vinden ze echter constant nuttige nieuwe informatie op je website? Dan willen ze dit tonen aan de zoekers en daarom vaker je website bezoeken.

Externe links naar je website

Het kan zijn dat het crawl budget voor je website laag is. Als een robot echter regelmatig vanaf andere sites naar jouw website gestuurd wordt door externe links is dat een teken voor Google om toch vaker een kijkje te nemen. Niemand zou naar je linken als er niets waardevols te vinden is.

Artikelen posten op social media

Hetzelfde geldt voor posts op social media. Hoewel dit vaak no-follow links zijn komen de robots jouw website wel vaak tegen. Ook dit is een (social) signaal om je website te bezoeken.

De structuur van je website

Misschien wel een van de belangrijkste manieren om de Google crawler tevreden te houden is een goede structuur op je website. Het hebben van een duidelijke interne linkstructuur helpt hierbij enorm. 

Lege pagina’s met een 404 error (een dode pagina) zorgen er daarnaast ook voor dat een robot niet verder kan. Er staat op een lege pagina natuurlijk geen informatie en links die de robot kan gebruiken en de route loopt dus dood. 

Als je website vol staat met dit soort pagina’s zal de crawler niet zo vaak meer langskomen. Ze verspillen crawlbudget met het bezoeken van die lege pagina’s. Maar hoe voorkom je deze fouten?

Hoe ontdek ik crawl fouten?

Het vinden van crawl fouten is belangrijk. In je zoektocht kijk je met name naar 404 errors oftewel de dode pagina’s. Dit zijn pagina’s waarvan je de URL verandert hebt of welke niet meer bestaan. Zolang de oude URL nog ergens in een hyperlink staat zal Google deze volgen en op een dode pagina terecht komen.

Een manier om dit te doen is door Screaming Frog te gebruiken. Met deze tool kun je een website crawlen zoals een Google crawler dat ook zou doen. Vervolgens kun je talloze rapporten uitdraaien, waaronder de in_link rapportage.

Hierin vind je alle interne links op je website terug. Je kunt dit filteren op bijvoorbeeld 404 errors en deze handmatig aanpassen. 

301 redirect

Het komt regelmatig voor dat een URL verandert. Om ervoor te zorgen dat de oude URL geen dode link wordt moet je deze doorsturen naar de nieuwe URL. Dit kun je op veel manieren doen, maar de beste optie is een 301-redirect. 

Dit is een manier om aan te geven dat URL A nu terug te vinden is op URL B. Een 301 redirect geeft bovendien de waarde door van de oude pagina. 301 betekent dat de URL permanent verplaatst is. Je hebt ook nog 302, 303 en 307 redirects bijvoorbeeld. Dit zijn codes die je kunt gebruiken om een aan te geven dat de URL tijdelijk verplaatst is.

Voor het plaatsen van een redirect kun je de .htaccess gebruiken. Met een WordPress website is ook de plugin ‘Redirection’ geschikt. 

Onze ervaring met website crawlen

Website crawlen is een van de belangrijkste factoren van SEO. Je kunt nog zoveel links bouwen, content schrijven of artikelen publiceren op social media. Als Google de weg niet kan vinden op je website levert het niets op.

Het is de taak van een SEO marketeer en website beheerder om het Google zo makkelijk mogelijk te maken. Dit doe je door on-page SEO en alle andere trucjes waarover we schrijven in onze sub-categorie online marketing en SEO.

Kan Google door een slechte structuur de weg niet vinden op je website? Dan worden al je optimalisaties teniet gedaan. Simpele aanpassingen in de URL structuur, de interne links op je website en bijvoorbeeld de navigatie kunnen een gigantisch effect hebben op je online vindbaarheid.

Door vanaf het eerste moment van de website deze structuur goed in te stellen en ervoor te waken dat dit zo blijft, verzeker je jezelf van een voorsprong in de ogen van Google. Voor ons is onze website crawlen een van de belangrijkste manieren om een goede relatie met de Google robots te onderhouden. 

Maak het jezelf gemakkelijk en bespaar veel tijd

Software is dé manier om de productiviteit te verhogen. Het levert je veel tijd op en je maakt het jezelf gemakkelijk!

e-Boekhouden.nl - Geschikt voor beginners (eerste 15 maanden gratis)
Twinfield - Persoonlijke service en veel koppelingen
Moss - Automatisch boekhouden en OCR

Een vraag over dit onderwerp?

Heb je een vraag over dit onderwerp of wil je iets toevoegen dat nuttig kan zijn voor de volgende lezer? Laat hieronder een reactie achter en een van onze experts helpt je graag verder!

0 reacties
Een reactie versturen

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Geschreven door:
Kaj
Kaj is als student begonnen met ondernemen en hier niet meer mee opgehouden. Begonnen met een simpele website, samen met Chris uitgegroeid tot een serieuze marketing agency. Al deze ervaringen zet ik hier voor je op papier zodat je van onze fouten kunt leren en je bedrijf naar een hoger niveau kunt tillen.