# NOTA: este fichero es PÚBLICO. No documentar aquí incidencias, métricas,
# rutas internas ni razonamientos: el porqué de cada regla va en el mensaje de
# commit y en el repo de infraestructura, que no son públicos.
#
# Mantener UN SOLO grupo "User-agent: *". No añadir un segundo.

# Reserva expresa de derechos al amparo del art. 4 de la Directiva (UE) 2019/790.
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
Disallow: /user/
Disallow: /login/
Disallow: /logout/
Disallow: /stripe/
Disallow: /api/
Disallow: /search/
Disallow: /fetch_
Disallow: /process_

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: CloudflareBrowserRenderingCrawler
Disallow: /

Sitemap: https://notcve.org/sitemap.xml