🇳🇱 Nederlands 🇬🇧 English
shopping_cart Inloggen
search

Gratis Robots.txt Generator

Maak een robots.txt bestand voor je website. Beheer crawl-regels per bot, voeg paden toe en gebruik presets voor populaire platforms.

tune Configuratie

bolt Snelle Presets
smart_toy Bot Crawl Regels
info Aangevinkte bots mogen je site crawlen. Uitgevinkte bots worden geblokkeerd.
block Geblokkeerde Paden (Disallow)
check_circle Toegestane Paden (Allow)
settings Instellingen
Laat leeg om weg te laten
Niet ondersteund door Googlebot. Gebruik met mate.
Optioneel. Geeft de voorkeurs-URL aan.

description robots.txt

# robots.txt

Robots.txt Generator - Alles wat je moet weten

Een robots.txt bestand vertelt zoekmachines en webcrawlers welke pagina's ze wel en niet mogen bezoeken. Het is een essentieel bestand voor elke website en bevindt zich altijd in de root directory van je domein.

Wat is robots.txt?

Robots.txt is een tekstbestand dat het Robots Exclusion Protocol volgt. Het geeft instructies aan webcrawlers over welke delen van je site ze mogen indexeren. Zoekmachines zoals Google, Bing en DuckDuckGo respecteren deze regels, evenals AI crawlers zoals GPTBot en ClaudeBot.

Belangrijke regels

  • User-agent - Specificeert voor welke bot de regels gelden (* = alle bots)
  • Disallow - Blokkeert toegang tot een specifiek pad
  • Allow - Staat toegang toe tot een pad (overrulet Disallow)
  • Sitemap - Verwijst naar je XML sitemap
  • Crawl-delay - Vertraging tussen verzoeken (niet door alle bots ondersteund)

AI Bots blokkeren

Steeds meer websites kiezen ervoor om AI crawlers te blokkeren. Bots zoals GPTBot (OpenAI), ClaudeBot (Anthropic) en CCBot worden gebruikt om trainingsdata te verzamelen. Met onze generator kun je deze bots selectief blokkeren terwijl zoekmachines wel toegang houden.