AI-crawlers toelaten of blokkeren: wat je robots.txt doet met je vindbaarheid in AI

Voor de meeste webshops is het antwoord: toelaten. De crawlers die ChatGPT, Perplexity en Google gebruiken om antwoorden te onderbouwen, sturen bezoekers terug naar je site, en die bezoekers kopen bovengemiddeld vaak. Blokkeer je ze, dan verdwijn je stilletjes uit antwoorden waarin je concurrent wel genoemd wordt — zonder dat je dat ergens in Google Search Console terugziet.

Welke AI-crawlers kloppen er aan bij je webshop?

Kijk je in je serverlogboeken, dan zie je er al snel tien. De belangrijkste voor een Nederlandse webshop:

• GPTBot (OpenAI) — haalt pagina's op voor het trainen van modellen.
• OAI-SearchBot en ChatGPT-User (OpenAI) — dit zijn de twee die tellen. De eerste bouwt de zoekindex van ChatGPT, de tweede haalt een pagina live op als een gebruiker een vraag stelt.
• ClaudeBot, Claude-SearchBot en Claude-User (Anthropic) — zelfde verdeling: trainen, indexeren, live ophalen.
• Google-Extended — geen echte crawler. Het is een schakelaar die bepaalt of Google je pagina's mag gebruiken voor Gemini en voor AI-antwoorden. Blokkeer je hem, dan verandert er niets aan je gewone positie in de zoekresultaten.
• PerplexityBot en Perplexity-User — Perplexity is klein in Nederland, maar het verkeer dat het stuurt converteert opvallend goed.
• Applebot-Extended, CCBot, Bytespider, Amazonbot, Meta-ExternalAgent — de rest. CCBot (Common Crawl) en Bytespider (TikTok) leveren je nul bezoekers op.

Trainen of antwoorden: dat verschil bepaalt wat blokkeren je kost

Dit is het enige onderscheid dat je echt moet snappen.

Een trainingscrawler leest je pagina's om er ooit een model mee te trainen. Blokkeer je die, dan kost dat je vandaag geen enkele bezoeker. Het effect zie je pas over een jaar of twee, als modellen "weten" welke merken er in jouw categorie bestaan en het jouwe daar niet bij zit.

Een antwoordcrawler haalt je pagina op op het moment dat iemand vraagt: "waar koop ik terrasdragers voor betontegels". Blokkeer je die, dan ben je per direct onzichtbaar in dat antwoord. Er staat dan geen link naar jouw productpagina, maar naar die van iemand anders.

De fout die veel shops maken: ze zetten de knop "AI-bots blokkeren" aan bij hun hostingpartij of in Cloudflare, en gooien beide categorieën in één keer dicht. Je bedoelde "niet gratis mijn teksten stelen" en je kreeg "niet meer genoemd worden".

Wat kost blokkeren je in euro's?

Neem een woonwebshop met 60.000 bezoekers per maand. In Google Analytics komt via verwijzingen uit chatgpt.com, perplexity.ai, copilot.microsoft.com en claude.ai samen zo'n 520 sessies binnen. Dat is 0,9 procent van het verkeer: te verwaarlozen, zou je zeggen.

Maar die bezoekers zitten al in de koopfase. De sitebrede conversie is 1,8 procent, dit verkeer haalt 3,1 procent. Dat zijn 16 orders per maand. Bij een gemiddelde orderwaarde van 120 euro en een brutomarge van 42 procent is dat 806 euro marge, min 8 procent retouren: ongeveer 740 euro per maand, bijna 9.000 euro per jaar.

Daar staat tegenover dat GPTBot in diezelfde maand 38.000 pagina's ophaalt. Op een fatsoenlijke server merk je dat niet. Op een krappe gedeelde server met een trage filterpagina wel.

De afweging is dus niet "principe versus principe", maar 9.000 euro aan marge tegenover een serverrekening die je ook op een andere manier kunt oplossen.

Hoe ziet een verstandige robots.txt eruit?

Concreet, voor de meeste webshops:

``` User-agent: OAI-SearchBot Allow: /

User-agent: ChatGPT-User Allow: /

User-agent: Claude-SearchBot Allow: /

User-agent: Claude-User Allow: /

User-agent: PerplexityBot Allow: /

User-agent: GPTBot Allow: /

User-agent: ClaudeBot Allow: /

User-agent: CCBot Disallow: /

User-agent: Bytespider Disallow: /

User-agent: * Disallow: /winkelwagen/ Disallow: /checkout/ Disallow: /account/ Disallow: /?sort= Disallow: /?filter= ```

Google-Extended noem ik bewust niet. Laat je hem weg, dan mag Google je pagina's gebruiken, en dat wil je: Google-antwoorden bovenaan de zoekresultaten zijn in Nederland verreweg het grootste AI-kanaal.

Drie dingen die vaak misgaan:

1. Je regels voor `User-agent: *` gelden ook voor AI-crawlers, tenzij je ze apart benoemt. Blokkeer je daar je hele `/producten/`-map met filters, dan blokkeer je die ook voor ChatGPT.
2. Volgorde en blokken. Een crawler leest alleen het blok dat op hem van toepassing is. Zet je regels netjes per user-agent, met een lege regel ertussen.
3. robots.txt is een verzoek, geen slot. Netjes gedragende crawlers houden zich eraan. Wil je iets echt dicht, dan doe je dat op serverniveau.

Zet er ook je sitemap onderin: `Sitemap: https://jouwshop.nl/sitemap.xml`. Antwoordcrawlers gebruiken die net zo goed als Google.

Hoe controleer je of het werkt?

Drie controles, samen een half uur werk per kwartaal.

Serverlogboeken. Filter op de namen hierboven en kijk welke crawlers binnenkomen en welke statuscodes ze krijgen. Zie je veel 403- of 429-antwoorden, dan blokkeert je firewall of je beveiligingsplug-in ze alsnog, ondanks je robots.txt.

Verwijzend verkeer. Maak in Analytics een segment met chatgpt.com, perplexity.ai, claude.ai en copilot.microsoft.com. Bekijk elke maand sessies, conversie en omzet. Groeit dit van 200 naar 500 sessies, dan gaat het de goede kant op.

De steekproef. Stel in ChatGPT en Gemini vijf vragen die je klanten ook stellen, inclusief merk- en productvragen. Noteer wie er genoemd wordt. Dat is geen wetenschap, maar je ziet meteen of jij in beeld bent of dat er steeds drie andere shops langskomen. Meer over hoe je dat structureel aanpakt staat op AI-zichtbaarheid voor webshops.

Wanneer blokkeren wél verstandig is

Er zijn goede redenen om selectief dicht te zetten:

• Je verkoopt de tekst zelf. Handleidingen, ontwerpen, cursussen. Dan blokkeer je de trainingscrawlers (GPTBot, ClaudeBot, CCBot, Google-Extended) en laat je de antwoordcrawlers open.
• Serverbelasting. Los dat eerst op met `Crawl-delay: 10` en door je filter- en sorteer-URL's te blokkeren. Een crawler die 38.000 keer dezelfde productlijst in een andere volgorde ophaalt, is een technisch probleem, geen AI-probleem.
• Pagina's die nooit gevonden hoeven worden. Klantaccounts, bestelbevestigingen, interne zoekresultaten. Die blokkeer je voor iedereen, ook voor Google.

Wat je niet oplost met robots.txt: je productpagina's die te dun zijn om geciteerd te worden. Antwoordmodellen halen specificaties, maten, materialen en levertijden uit je tekst. Staat er alleen een productnaam en drie bulletpunten, dan word je niet genoemd, hoe open je robots.txt ook is. Dat is gewoon SEO-werk voor je webshop.

Wil je niet elk kwartaal handmatig logboeken doorspitten: Formyx houdt dagelijks bij welke crawlers binnenkomen en of je in AI-antwoorden genoemd wordt, en geeft aan wat je kunt aanpassen.

Veelgestelde vragen

Verlies ik mijn Google-positie als ik Google-Extended blokkeer?

Nee. Google-Extended staat los van Googlebot en heeft geen invloed op je organische posities. Het bepaalt alleen of Google je inhoud mag gebruiken voor Gemini en AI-antwoorden. Blokkeren kost je dus zichtbaarheid in AI-antwoorden, niet in de blauwe links.

Kan ik AI-crawlers blokkeren en toch in ChatGPT genoemd worden?

Gedeeltelijk. ChatGPT kan je noemen op basis van wat anderen over je schrijven, zoals vergelijkingssites, forums en reviews. Maar zonder toegang tot je eigen site komt er geen link naar je productpagina in het antwoord, en kloppen de prijzen en levertijden meestal niet meer.

Hoe snel zie ik effect als ik crawlers weer toelaat?

Antwoordcrawlers halen pagina's live op, dus dat werkt binnen dagen. De zoekindexen van ChatGPT en Perplexity lopen enkele weken achter. Voor trainingsdata duurt het veel langer: die zit pas in een volgende modelversie, en dat kan een jaar duren.