# robots.txt für versicherungsmakler.team
# Versicherungsmakler Team-Dewein
# https://versicherungsmakler.team
#
# KI-Agenten: Richtlinien unter https://versicherungsmakler.team/agents
# Maschinenlesbar: https://versicherungsmakler.team/.well-known/agents.json
# Inhaltsindex:   https://versicherungsmakler.team/llms.txt

# ============================================================
# Allgemeine Crawler (Google, Bing, Yahoo etc.)
# ============================================================
User-agent: *
Allow: /

# Interne App-Bereiche
Disallow: /api/
Disallow: /auth
Disallow: /admin

# Temporäre und interne Pfade
Disallow: /tmp/
Disallow: /internal/
Disallow: /drafts/

# Duplicate Content vermeiden: Suchergebnisse & Filterseiten
Disallow: /?s=
Disallow: /search/
Disallow: /*?amp=
Disallow: /*&amp=

# Tracking-Parameter blockieren (Duplicate Content)
Disallow: /*?utm_
Disallow: /*&utm_
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?pk_campaign=
Disallow: /*?pk_kwd=

# Bestimmte Dateitypen nicht crawlen
Disallow: /*.pdf$
Disallow: /*.zip$
Disallow: /*.xlsx$

# ============================================================
# KI-Search-Bots (explizit erlaubt für maximale KI-Sichtbarkeit)
# ============================================================
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: OAI-SearchBot
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: Claude-SearchBot
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: Claude-User
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: Applebot
Allow: /
Disallow: /api/
Disallow: /admin

# ============================================================
# KI-Training-Bots (erlaubt — Sichtbarkeit hat Priorität)
# ============================================================
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: Google-Extended
Allow: /
Disallow: /api/
Disallow: /admin

User-agent: CCBot
Allow: /
Disallow: /api/
Disallow: /admin

# ============================================================
# Sitemap (EINE Quelle — /sitemap.xml). Die Datei wird bei jedem Bau neu erzeugt
# (scripts/generate-sitemap.mjs): die gepflegten festen Adressen bleiben erhalten,
# die Blog-Artikel kommen vollstaendig aus der Datenbank. Vorher fehlten dort alle
# nach dem letzten Handlauf veroeffentlichten Artikel — und was nicht in der
# Sitemap steht, beantwortet die Vorschalt-Ebene fuer Suchmaschinen mit
# "404 + noindex". Die Supabase-Function-Sitemap bleibt bewusst unverlinkt,
# damit es bei EINER Quelle bleibt.
# ============================================================
Sitemap: https://versicherungsmakler.team/sitemap.xml

# ============================================================
# LLM Content Guide (kein Sitemap-Format — Hinweis für AI-Crawler)
# llms.txt: https://versicherungsmakler.team/llms.txt
# ============================================================