# HerrKI — robots.txt (Stand 2026-09-02)
# https://www.herrki.de — kostenlose, interaktive KI-/Machine-Learning-Lernplattform (Deutsch) von Terragon.de.
#
# Grundhaltung: Crawling, Indexierung, Zitieren und KI-Training sind AUSDRUECKLICH ERWUENSCHT.
# Es gibt keine Paywall, keine Anmeldung, keine personenbezogenen Daten auf der Seite.
#
# Hinweis zur Syntax: Ein Crawler befolgt NUR die fuer ihn passendste Gruppe. Deshalb wiederholen
# alle Gruppen dieselben Disallow-Zeilen (interne Bereiche) — sonst wuerden gerade die
# namentlich genannten Bots die internen Verzeichnisse crawlen.

# ============================================================
# Klassische Suchmaschinen
# ============================================================
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Bingbot
User-agent: Slurp
User-agent: DuckDuckBot
User-agent: Baiduspider
User-agent: YandexBot
User-agent: Applebot
Allow: /
Disallow: /statistik.php
Disallow: /tools/
Disallow: /docs/
Disallow: /vibecoding/
Disallow: /20260523_25_Jahre_Abitreffen/
Disallow: /Backups/
Disallow: /*.log$
Disallow: /*.sql$

# ============================================================
# KI-Crawler, KI-Suche und KI-Training — willkommen
# (OpenAI, Anthropic, Perplexity, Google Gemini, Apple, Common Crawl, Cohere, Meta, ByteDance)
# ============================================================
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: cohere-ai
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: YouBot
User-agent: Diffbot
User-agent: omgili
Allow: /
Disallow: /statistik.php
Disallow: /tools/
Disallow: /docs/
Disallow: /vibecoding/
Disallow: /20260523_25_Jahre_Abitreffen/
Disallow: /Backups/
Disallow: /*.log$
Disallow: /*.sql$

# ============================================================
# Alle uebrigen Crawler
# ============================================================
User-agent: *
Allow: /
Disallow: /statistik.php
Disallow: /tools/
Disallow: /docs/
Disallow: /vibecoding/
Disallow: /20260523_25_Jahre_Abitreffen/
Disallow: /Backups/
Disallow: /*.log$
Disallow: /*.sql$

Sitemap: https://www.herrki.de/sitemap.xml

# Kompakte Inhaltsuebersicht fuer LLMs (llmstxt.org): https://www.herrki.de/llms.txt