# ============================================================
#  ArmConnect (armconnect.org) - (c) 2026 Madmax Marcin Mielniczuk, Gdynia, Poland.
#  All rights reserved. The results, athlete and club database is protected
#  by the sui generis database right (Directive 96/9/EC) and copyright.
#
#  Automated access, scraping, bulk downloading and extraction of the database
#  are PROHIBITED without prior written consent. Text and data mining (TDM),
#  including AI training, is expressly reserved under Article 4(3) of
#  Directive (EU) 2019/790 and Article 26(3) of the Polish Copyright Act.
#  Machine-readable reservation: /.well-known/tdmrep.json
#  Terms: https://armconnect.org/warunki-korzystania
#  Data licensing: marcin@madmax.com.pl
#
#  Robots allowed below may index pages for search results only.
#  AI search / answer agents (OAI-SearchBot, ChatGPT-User, PerplexityBot,
#  Perplexity-User, Claude-SearchBot, Claude-User) are allowed ONLY to fetch
#  pages in order to answer user queries and cite them with a link to the
#  source (armconnect.org). This is NOT consent to AI/model training, to
#  building datasets, or to copying/republishing the database.
#  AI usage summary: https://armconnect.org/llms.txt
# ============================================================

# ============================================================
#  AI / LLM — od 14.11.2026 (decyzja Marcina):
#  * WPUSZCZAMY boty WYSZUKUJĄCE/cytujące z linkiem do źródła
#    (sekcja niżej) — tylko odpowiedzi na pytania użytkowników
#    z podaniem armconnect.org, bez treningu i kopii bazy.
#  * BLOKUJEMY crawlery TRENINGOWE i zbierające zbiory danych.
#  Grzeczne boty to respektują; złośliwe ignorują — te łapie
#  Cloudflare (WAF, reguła „Blokada: AI/SEO crawlery”).
# ============================================================
# --- AI: trening / zbiory danych — BLOK ---
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: ImagesiftBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
# dopisane 09.11.2026 (logi armconnect.org)
User-agent: ElevenlabsCrawler
Disallow: /
User-agent: ExaSearchBot
Disallow: /
User-agent: DataForSeoBot
Disallow: /
User-agent: SERankingBacklinksBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: Amzn-SearchBot
Disallow: /

# ============================================================
#  AI WYSZUKIWANIE / agenci użytkownika — DOZWOLONE (14.11.2026)
#  tylko do odpowiedzi z cytatem i linkiem do armconnect.org.
#  Te same wyłączenia co dla zwykłych botów (User-agent: *).
#  Cloudflare przepuszcza je jako zweryfikowane boty (cf.client.bot).
# ============================================================
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
Disallow: /porownaj
Disallow: /admin/
Disallow: /member/
Disallow: /club/
Disallow: /national/

# ============================================================
#  Pozostałe boty (Googlebot/Bingbot zostają — indeks publicznych
#  wyników/profili dla SEO). Ciężkie ścieżki chroni Cloudflare.
# ============================================================
User-agent: *
# Pułapka kombinatoryczna — generuje N² URL-i (a={id}), bez wartości w indeksie
Disallow: /porownaj
# Strefy wymagające logowania — brak wartości SEO, marnują budżet crawlowania
Disallow: /admin/
Disallow: /member/
Disallow: /club/
Disallow: /national/
# Bez Crawl-delay (14.11.2026): Google go ignoruje, a Binga dławił do ~8 tys. stron/dobę.
# Obciążenie ogranicza Cloudflare (rate limit na ścieżkach danych) i throttle w aplikacji.

# Mapa strony — indeks map z częściami po max 10 tys. adresów (generowana: /sitemap.xml, cache 6 h)
Sitemap: https://armconnect.org/sitemap.xml