# ============================================================
# robots.txt (gerado dinamicamente por robots.php)
# ============================================================
# Regras para todos os crawlers
User-agent: *
# Permite tudo por padrão — bloqueios específicos abaixo
Allow: /

# Bloqueia pastas administrativas e técnicas
Disallow: /admin/
Disallow: /includes/
Disallow: /assets/js/debug-log.js
Disallow: /.env
Disallow: /config.php
Disallow: /sitemap-generator.php

# Bloqueia páginas de erro (não precisam ser indexadas)
Disallow: /404.php
Disallow: /500.php

# Bloqueia páginas de política e termos (opcional — remova se quiser indexar)
# Disallow: /politica-de-privacidade
# Disallow: /termos-de-uso

# Sitemap — informa a localização para todos os crawlers
Sitemap: https://desentupidoraembc.com.br/sitemap.xml

# ============================================================
# Regras específicas por crawler — libera acesso pra apararecer
# em respostas de IA generativa (ChatGPT, Gemini, Claude, etc.)
# ============================================================

# GPTBot (OpenAI) — permite rastreamento para aparecer no ChatGPT
User-agent: GPTBot
Allow: /

# Google-Extended (Gemini) — permite rastreamento para aparecer no Gemini
User-agent: Google-Extended
Allow: /

# Anthropic Claude
User-agent: ClaudeBot
Allow: /

# CCBot (Common Crawl — base de dados de LLMs em geral)
User-agent: CCBot
Allow: /

# PerplexityBot (Perplexity AI)
User-agent: PerplexityBot
Allow: /

# Bloqueia crawlers de scraping agressivo
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: