# ===============================
# ARTE ROBOTS.TXT - ULTIMATE SEO VERSION
# Максимальная оптимизация для поисковых систем
# ===============================

# ОСНОВНЫЕ ПРАВИЛА ДЛЯ ВСЕХ БОТОВ
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /verification/
Disallow: /*.log$
Disallow: /*.ini$
Disallow: /*.php$
Disallow: /assets/js/
Disallow: /assets/css/
Allow: /assets/images/
Allow: /assets/fonts/

# СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ ЯНДЕКСА
User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /api/
Allow: /assets/images/
Allow: /assets/fonts/
Allow: /turbo.xml
Crawl-delay: 0.5

# СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ GOOGLE
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /api/
Allow: /assets/images/
Allow: /assets/fonts/
Crawl-delay: 0.3

# СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ GOOGLE ИЗОБРАЖЕНИЙ
User-agent: Googlebot-Image
Allow: /assets/images/
Allow: *.jpg
Allow: *.jpeg
Allow: *.png
Allow: *.gif
Allow: *.svg
Allow: *.webp
Allow: *.avif

# СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ BING
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /api/
Crawl-delay: 1

# БЛОКИРОВКА ВРЕДОНОСНЫХ БОТОВ
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# РАЗРЕШЕНИЕ ДЛЯ СОЦИАЛЬНЫХ СЕТЕЙ
User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: WhatsApp
Allow: /

User-agent: TelegramBot
Allow: /

User-agent: VKShare
Allow: /

# ===============================
# КАРТЫ САЙТА (SITEMAPS)
# ===============================

# Основная карта сайта
Sitemap: https://arte72.ru/sitemap.xml

# Главный sitemap index (ссылается на все разделы)
Sitemap: https://arte72.ru/sitemap-index.xml

# Турбо-страницы для Яндекс
Sitemap: https://arte72.ru/turbo.xml


# ===============================
# ОЧИСТКА GET ПАРАМЕТРОВ
# ===============================

# Убираем UTM метки и рекламные параметры
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term
Clean-param: ref&fbclid&gclid&yclid&_openstat&from
Clean-param: mc_cid&mc_eid&_ga&_gl
Clean-param: msclkid&dclid&wbraid&gbraid

# ===============================
# ДОПОЛНИТЕЛЬНЫЕ НАСТРОЙКИ
# ===============================

# Время задержки между запросами (в секундах)
# Для предотвращения перегрузки сервера
Request-rate: 1/1s

# Время активности бота (UTC)
Visit-time: 0100-0800

# Хост сайта (основной домен)
Host: arte72.ru

# ===============================
# КОНЕЦ ФАЙЛА
# ===============================