# Robots.txt voor cyclingweb.nl
# Doel: SEO goed houden, nutteloze crawls beperken, ongewenste bots ontmoedigen
# Laatste update: 2026-02-22

############################################################
# 1) Grote zoekmachines (toestaan, maar gevoelige paden dicht)
############################################################
User-agent: Googlebot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /feed/
Disallow: /comments/
Disallow: /winkelwagen/
Disallow: /afrekenen/
Disallow: /mijn-account/
Disallow: /wensenlijst/
Disallow: /compare/
Disallow: /*?*wc-ajax=
Disallow: /*?*add-to-cart=
Disallow: /*?*s=
Disallow: /product-category/*?*
Disallow: /product-tag/*?*

User-agent: Bingbot
Crawl-delay: 10
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /feed/
Disallow: /comments/
Disallow: /winkelwagen/
Disallow: /afrekenen/
Disallow: /mijn-account/
Disallow: /wensenlijst/
Disallow: /compare/
Disallow: /*?*wc-ajax=
Disallow: /*?*add-to-cart=
Disallow: /*?*s=
Disallow: /product-category/*?*
Disallow: /product-tag/*?*

User-agent: Applebot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /feed/
Disallow: /comments/
Disallow: /winkelwagen/
Disallow: /afrekenen/
Disallow: /mijn-account/
Disallow: /wensenlijst/
Disallow: /compare/
Disallow: /*?*wc-ajax=
Disallow: /*?*add-to-cart=
Disallow: /*?*s=
Disallow: /product-category/*?*
Disallow: /product-tag/*?*

############################################################
# 2) Extra: parameter en filter spam beperken voor nette bots
# (scheelt load door oneindige filtercombinaties)
############################################################
User-agent: *
Crawl-delay: 20

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /feed/
Disallow: /comments/
Disallow: /winkelwagen/
Disallow: /afrekenen/
Disallow: /mijn-account/
Disallow: /wensenlijst/
Disallow: /compare/

# WooCommerce en search parameters
Disallow: /*?*wc-ajax=
Disallow: /*?*add-to-cart=
Disallow: /*?*s=
Disallow: /*?*orderby=
Disallow: /*?*min_price=
Disallow: /*?*max_price=
Disallow: /*?*filter_
Disallow: /*?*rating_filter=
Disallow: /*?*stock_status=
Disallow: /*?*per_page=
Disallow: /*?*per_row=
Disallow: /*?*shop_view=

# Category/tag pagina’s met parameters
Disallow: /product-category/*?*
Disallow: /product-tag/*?*

############################################################
# 3) AI crawlers blokkeren
############################################################
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Bytespider
Disallow: /

############################################################
# 4) Social media crawlers blokkeren
############################################################
User-agent: FacebookBot
Disallow: /
User-agent: facebookexternalhit
Disallow: /
User-agent: Facebot
Disallow: /

############################################################
# 5) Scrapers en SEO-tools blokkeren
############################################################
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Barkrowler
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: omgili
Disallow: /
User-agent: dataforseo
Disallow: /
User-agent: DotBot
Disallow: /


############################################################
# 6) Sitemaps
############################################################
Sitemap: https://www.cyclingweb.nl/page-sitemap.xml
Sitemap: https://www.cyclingweb.nl/post-sitemap.xml
Sitemap: https://www.cyclingweb.nl/product-sitemap.xml
Sitemap: https://www.cyclingweb.nl/product-sitemap2.xml
Sitemap: https://www.cyclingweb.nl/product-sitemap3.xml
Sitemap: https://www.cyclingweb.nl/product-sitemap4.xml
Sitemap: https://www.cyclingweb.nl/product-sitemap5.xml
Sitemap: https://www.cyclingweb.nl/category-sitemap.xml
Sitemap: https://www.cyclingweb.nl/product_brand-sitemap.xml
Sitemap: https://www.cyclingweb.nl/product_cat-sitemap.xml