User-agent: *
Crawl-delay: 10
Sitemap: https://www.konfian.com/sitemap.xml

# Pagination & facettes : desindexation via X-Robots-Tag noindex (.htaccess) depuis 2026-08-10.
# Ne PAS re-bloquer ici tant que Google n'a pas purge l'index (sinon le noindex est invisible).

# Espaces utilisateur / transactionnels
Disallow: /panier
Disallow: /compte
Disallow: /paiement
Disallow: /login
Disallow: /auth
Disallow: /wishlist
Disallow: /messages
Disallow: /tableau_de_bord
Disallow: /mes_activites
Disallow: /edit_profil
Disallow: /inscription
Disallow: /calendrier
Disallow: /new_user_with_resa
Disallow: /confirmation
Disallow: /commande

# Endpoints techniques
Disallow: /autocomplete
Disallow: /cron
Disallow: /api/
Disallow: /generate
Disallow: /cleanup
Disallow: /bloquer
Disallow: /languageswitcher

# Residus WordPress
Disallow: /feed
Disallow: /wp-includes
Disallow: /wp-admin

# --- Crawlers refuses (ajout 2026-09-19) -------------------------------------
# Mesure du 19/09 sur 18 h de logs : 236 204 requetes PHP sur /cashback/, dont
# meta-externalagent 36 254 et Amazonbot 16 042, pour zero trafic en retour.
# A eux deux : 22 % de la charge serveur. Googlebot ne pese que 0,85 %.
#
# meta-externalagent = robot d'exploration de Meta. A NE PAS CONFONDRE avec
# facebookexternalhit (249 req), qui fabrique les apercus de liens partages sur
# Facebook / Messenger / WhatsApp et qui reste AUTORISE : les partages marchent.
#
# Volontairement NON bloques : ClaudeBot, PerplexityBot, GPTBot. Ils coutent peu
# (9 138 req) et chatgpt.com renvoie du trafic reel et qualifie (148 sessions a
# 77 s de duree moyenne sur 28 j). Ne pas les ajouter ici sans remesurer.

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /