Gratis robots.txt-generator
Kies toegangsregels voor crawlers en genereer een kant-en-klaar robots.txt-bestand voor je website.
User-agent: * Allow: / Disallow: /admin Disallow: /api Sitemap: https://tool-verse.com/sitemap.xml
De robots.txt-generator bouwt het bestand dat zoekmachinecrawlers vertelt welke delen van een site ze wel en niet mogen benaderen, zonder dat je de exacte syntaxis hoeft te onthouden.
Wat is een robots.txt-bestand, en wat doet het eigenlijk?
Het is een platte-tekstbestand in de root van een site — zoals example.com/robots.txt — dat compatibele crawlers instructies geeft over welke URL's of paden ze wel of niet worden verzocht te crawlen. Het biedt crawlrichtlijnen, geen toegangsbeheer: het kan een goed opgevoede crawler beleefd vragen een pad te mijden, maar je moet er niet op vertrouwen om echt privé-informatie buiten zoekmachines te houden, omdat het toegang niet voorkomt, maar crawlers alleen verzoekt niet langs te komen.
Kan robots.txt een pagina echt uit de zoekresultaten van Google houden?
Niet betrouwbaar, en dit is het meest voorkomende misverstand erover. Robots.txt regelt het crawlen — of een bot een URL opvraagt — niet het indexeren, wat een aparte beslissing van zoekmachines is. Als een pagina al is geïndexeerd, haalt het blokkeren ervan in robots.txt alleen hem niet uit de zoekresultaten; daarvoor heb je een noindex-richtlijn nodig op een pagina die Google nog wel kan benaderen. Dat is het echte verschil tussen de twee: robots.txt vertelt crawlers waar ze niet naartoe moeten gaan, terwijl een noindex-tag zoekmachines vertelt een pagina die ze nog wel mogen bezoeken niet te indexeren.
Wat betekenen User-agent, Disallow en Allow eigenlijk, en kunnen ze een hele map of site blokkeren?
User-agent geeft aan op welke crawler een regel van toepassing is — een sterretje (*) past hem toe op elke crawler, of je noemt een specifieke crawler voor verschillende regels per bot. Disallow vertelt een crawler om overeenkomende URL's of paden niet op te vragen, en Allow staat het crawlen van een pad expliciet toe, wat handig is wanneer het specifieker is dan een bredere Disallow die hetzelfde gebied dekt. Zowel een enkele map als een hele website kan met de juiste Disallow-regel worden geblokkeerd — en dat is precies waarom een te brede regel het waard is om zorgvuldig te testen voordat je publiceert, want één fout kan crawlers per ongeluk van een hele site weren.
Moet je je sitemap opnemen in robots.txt, en waar moet het bestand precies staan?
Ja — een Sitemap-richtlijn die naar de volledige sitemap-URL verwijst, maakt het voor crawlers makkelijker om je sitemap automatisch te ontdekken. Het bestand zelf moet specifiek in de root van het domein staan, zoals https://example.com/robots.txt, omdat zoekmachines alleen die ene standaardlocatie controleren en een robots.txt-bestand dat ergens anders staat niet zullen vinden.
Verbetert robots.txt echt de SEO, en wanneer moet je er pagina's mee blokkeren?
Niet rechtstreeks — de echte waarde ligt in het beheren van het crawlbudget, door te voorkomen dat crawlers tijd verspillen aan pagina's die niet gecrawld hoeven te worden, niet in het verhogen van rankings. Blokkeer pagina's alleen wanneer daar een duidelijke crawlreden voor is; het blokkeren van belangrijke pagina's kan zoekmachines per ongeluk de toegang ontnemen tot content die ze juist nodig hebben om je site te begrijpen en te ranken.
Waarom draait iets zo belangrijks op zo'n informele set regels?
Omdat het bijna 30 jaar lang helemaal geen officiële standaard was — slechts een conventie die iedereen afsprak te volgen. De Nederlandse software-engineer Martijn Koster stelde het Robots Exclusion Protocol in 1994 voor nadat een slecht gedragende vroege webcrawler zijn server herhaaldelijk had overbelast, en in juni van dat jaar was het al de facto de standaard geworden: de grote crawlers van die tijd, waaronder WebCrawler, Lycos en AltaVista, spraken simpelweg af het vrijwillig te respecteren, zonder dat een bestuursorgaan iets afdwong. Die informele afspraak hield een werkelijk verrassend groot deel van de geschiedenis van het web stand — pas in juli 2019 stelde Google voor het via de Internet Engineering Task Force te formaliseren, en het protocol werd pas in september 2022 een officiële internetstandaard, RFC 9309. Met andere woorden: een van de meest gerespecteerde regels op het hele internet draaide 28 jaar lang puur op samenwerking te goeder trouw voordat iemand de moeite nam hem officieel te maken.
Is Robots.txt-generator gratis te gebruiken?
Ja. Robots.txt-generator is volledig gratis, zonder registratie en zonder gebruikslimieten.
Moet ik software installeren?
Nee. Robots.txt-generator werkt rechtstreeks in je webbrowser — je hoeft niets te downloaden of te installeren.
Blijven mijn gegevens privé?
Alles gebeurt op je eigen apparaat. Wij ontvangen of bewaren nooit de bestanden of tekst die je in Robots.txt-generator invoert.