Maak je een robots.txt bestand

Wat is een robots.txt bestand en hoe maak je het?

Als je een website hebt, kom je waarschijnlijk op een gegeven moment het bestand robots.txt tegen. Dit bestand geeft zoekmachines richtlijnen over welke delen van je website wel of niet geïndexeerd mogen worden.

Het opstellen van een robots.txt bestand is niet moeilijk. Als de website goed is ingericht, is het eenvoudig. In dit artikel bespreken we hoe je een robots.txt bestand maakt en waar je op moet letten.

Wat is een robots.txt bestand?

Een robots.txt bestand is een simpel tekstbestand dat in de hoofdmap van je website wordt opgeslagen. Zoekmachine bots beschouwen dit bestand vaak als een standaard. Dit houdt in dat ze de instructies in dit bestand bekijken voordat ze de website indexeren. Hierdoor kan de websitebeheerder bepalen welke delen van de site wel of niet gecrawld mogen worden.

In een robots.txt bestand kun je specifieke richtlijnen geven aan bots zoals Googlebot. Googlebot is de crawler van Google, maar er zijn ook andere, zoals Bingbot voor Bing en Yahoo Slurp voor Yahoo.

Het maken van een robots.txt bestand

Een robots.txt bestand bestaat uit twee belangrijke onderdelen. Hier zijn enkele voorbeelden van regels voor verschillende bots.

Googlebot instructie om de map /cms/ niet te crawlen:

User-agent: Googlebot
Disallow: /cms/
    

Als deze regel voor alle bots moet gelden:

User-agent: *
Disallow: /cms/
    

Als je de hele site wilt uitsluiten van indexatie:

User-agent: *
Disallow: /
    

Om een specifiek bestand, zoals een pagina of een afbeelding, uit te sluiten:

User-agent: Googlebot
Disallow: /examplefile.html
Disallow: /images/exampleimage.jpg
    

Om een specifieke map uit te sluiten, maar onderliggende mappen toe te staan:

User-agent: *
Disallow: /shop/
Allow: /shop/magazine/
    

Om alle afbeeldingen van Google's AdWords uit de index te verwijderen:

User-agent: Mediapartners-Google
Allow: /
User-agent: *
Disallow: /
    

Ook kun je een link naar je sitemap toevoegen, zodat zoekmachines deze kunnen gebruiken voor beter indexeren:

User-agent: *
Disallow:
Sitemap: http://[example.com]/sitemap.xml
    

Gebruik van jokertekens in robots.txt

Jokertekens zoals * en $ kunnen helpen om specifieke delen van je site uit te sluiten.

• Het * teken zorgt ervoor dat bots bepaalde bestanden negeren.
• Het $ teken sluit specifieke bestandsextensies of patronen uit (zoals jpg bestanden).

Je kunt online robots.txt generators gebruiken als je niet zeker weet hoe je deze symbolen moet gebruiken.

Basisregels voor een goed robots.txt bestand

• Het bestand moet in de hoofdmap van je site staan. Bijvoorbeeld: http://example.com/robots.txt
• Gebruik het $ teken voor specifieke bestandsextensies.
• De standaard instelling is 'allow'. Gebruik 'disallow' voor delen die je wilt uitsluiten.
• Hoofdlettergevoelig: De regels in een robots.txt bestand zijn hoofdlettergevoelig, dus wees voorzichtig bij het schrijven.
• Laat een spatie tussen meerdere regels.

Het testen van je robots.txt bestand

Je kunt je robots.txt bestand testen met de OnPage.org testtool of via Google Search Console. Na het toevoegen, kun je dit bestand controleren in de Google Search Console.

Bij fouten geeft de testtool dit aan. Dit kan bijvoorbeeld gebeuren als je een directory hebt uitgesloten die je wilt indexeren. Test het bestand opnieuw na wijzigingen.

Belangrijke punten voor het controleren van een robots.txt bestand

• Gebruik de "Submit" knop in Google Search Console om je robots.txt bestand op te sturen.
• Controleer de "view current version" optie om te zorgen dat je robots.txt bestand goed is geüpload. Als je geen robots.txt bestand hebt, krijg je een foutmelding "robots.txt niet gevonden" en moet je het bestand aanmaken.

Conclusie

Een goed ingesteld robots.txt bestand is belangrijk voor het goed functioneren van je website in zoekmachines. Het zorgt ervoor dat zoekmachine-bots alleen de delen van je site bekijken die je wilt en voorkomt dat onbelangrijke of gevoelige pagina's worden gecrawld. Regelmatig controleren van je robots.txt bestand is een belangrijk aspect van je SEO-strategie.