Поисковые роботы не умеют читать мысли. Чтобы Яндекс и Google обходили нужные страницы, не тратили время на мусорные URL и понимали структуру сайта — есть два специальных файла. Sitemap.xml — это карта сайта: список URL, которые вы хотите видеть в индексе. Robots.txt — правила поведения для роботов: что обходить, что игнорировать. Вместе они экономят краулинговый бюджет и ускоряют попадание новых страниц в поиск. Без них — кот в мешке: робот сам решает, куда зайти, и может потратить всё отведённое время на технические страницы вместо продающих разделов.
Что такое sitemap.xml и как он устроен?
Sitemap.xml — XML-файл, в котором перечислены все URL сайта, которые нужно проиндексировать. Робот читает его при каждом визите и получает точный список страниц, не разгадывая структуру сайта самостоятельно.
Минимальный формат одной записи выглядит так:
<url>
<loc>https://example.ru/uslugi/razrabotka/</loc>
<lastmod>2026-05-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>Четыре тега стоит знать:
- loc — обязательный: полный URL страницы.
- lastmod — дата последнего изменения в формате YYYY-MM-DD. Реальная дата, не «сегодня» для всех страниц — роботы это замечают и перестают доверять файлу.
- changefreq — примерная частота изменений: daily, weekly, monthly. Яндекс и Google используют его как подсказку, не как директиву.
- priority — приоритет от 0.0 до 1.0 внутри сайта. Главная — 1.0, раздел услуг — 0.8, статья блога — 0.6. Поисковик тоже воспринимает это как совет, а не команду.
Технические лимиты: один файл sitemap — максимум 50 000 URL и не более 50 МБ в сжатом виде. Если сайт крупный (интернет-магазин на тысячи товаров), делают индекс карт — файл sitemapindex.xml, который ссылается на отдельные sitemap-файлы. Например: sitemap-catalog.xml, sitemap-articles.xml, sitemap-images.xml. Это удобно и для анализа: в Яндекс Вебмастере видно, сколько URL из каждого файла принято в индекс.
Как устроен robots.txt и что в нём писать?
Robots.txt — простой текстовый файл, который лежит в корне сайта (https://ваш-домен.ru/robots.txt). Он описывает правила для поисковых роботов: куда ходить, куда не ходить.
Базовая структура:
User-agent: *
Disallow: /cabinet/
Disallow: /cart/
Allow: /
Sitemap: https://example.ru/sitemap.xmlКлючевые директивы:
- User-agent — для какого робота правило. Звёздочка (*) означает «все роботы», Yandex — только Яндекс, Googlebot — только Google.
- Disallow — запрет обхода URL или раздела.
- Allow — явное разрешение (используется, когда нужно исключение из Disallow).
- Sitemap — путь к файлу карты сайта. Можно указать несколько строк с разными файлами.
- Clean-param — только для Яндекса. Указывает, какие GET-параметры не меняют содержимое страницы (например, utm-метки, параметры сортировки). Помогает избежать дублей в индексе.
Директива Host (тоже для Яндекса — указывала основной домен) официально устарела с 2023 года. Яндекс больше не использует её — вместо этого главное зеркало настраивается в Яндекс Вебмастере. Если в вашем robots.txt она ещё есть — не страшно, но убирать не нужно срочно.
Что закрывать в robots.txt, а что — ни в коем случае?
Вот здесь чаще всего делают ошибки. Закрыть лишнее — и поисковик не увидит важный раздел. Забыть закрыть нужное — и в индексе окажутся сотни дублей или личные данные пользователей.
| Закрывать (Disallow) | Не закрывать — ошибка |
|---|---|
| Корзина (/cart/, /basket/) | CSS и JS файлы (роботы используют их для рендеринга) |
| Личный кабинет (/cabinet/, /account/) | Главная страница и основные разделы |
| Страницы фильтров с параметрами (?sort=, ?price=, ?color=) | Страницы услуг и категорий каталога |
| Технические разделы Битрикс (/bitrix/, /upload/ частично) | Блог и статьи (они дают трафик) |
| Страницы поиска по сайту (/search/) | Карточки товаров (если хотите продажи из поиска) |
| Дубли с параметрами (?PAGEN_1=, ?SESSION_ID=) | Изображения (нужны для Яндекс Картинок) |
| Страницы авторизации и восстановления пароля | Sitemap-файлы |
Отдельная история с сайтами на 1С-Битрикс. Стандартный robots.txt для Битрикс закрывает /bitrix/ полностью — это правильно. Но часто не закрывают /bitrix/redirect.php и различные технические обработчики форм. Небольшая оплошность, но лишние URL в индексе замусоривают краулинговый бюджет.
Типичные ошибки — те, которые мы видим постоянно
За годы работы с сайтами хабаровских и дальневосточных компаний несколько ошибок встречаются снова и снова. Некоторые обнаруживаются только на аудите — и удивляют даже опытных владельцев.
- Disallow: / — закрыт весь сайт. Случается после перезапуска сайта или переноса: разработчик закрывает сайт от индексации «на время», потом открывает, но забывает убрать одну строчку. В итоге сайт месяцами недоступен для поисковиков — и никто не замечает.
- Sitemap не обновляется. В карте прописаны URL страниц, которые удалили полгода назад. Поисковик запрашивает их, получает 404, со временем перестаёт доверять файлу. Sitemap должен генерироваться динамически или обновляться при каждом изменении структуры.
- В sitemap — страницы, закрытые в robots.txt. Логическое противоречие: вы говорите роботу «вот эти страницы важны» и тут же «туда не заходи». Поисковик фиксирует конфликт и обычно следует robots.txt — страницы не индексируются, но робот тратит время на попытки.
- Разные правила для Яндекса и Google без причины. Например, фильтры закрыты только для Яндекса, а для Google — открыты. Такой разнобой создаёт дублирование в Google и пустую трату бюджета обхода у него.
- Неправильные lastmod — «сегодня» для всех страниц. Некоторые CMS автоматически ставят текущую дату в lastmod каждого URL. Робот учится игнорировать этот тег и перестаёт использовать его для приоритизации обхода.
Как отправить sitemap в Яндекс Вебмастер и Google Search Console?
Просто разместить файл на сервере недостаточно — поисковику надо о нём сообщить.
В Яндекс Вебмастере: раздел «Индексирование» → «Файлы Sitemap» → кнопка «Добавить». Вставляете URL карты сайта. После добавления Яндекс покажет, сколько URL в файле и сколько принято в индекс. Если URL принято меньше, чем заявлено — смотрите причины: дубли, закрытые страницы, ошибки 404.
В Google Search Console: раздел «Индексирование» → «Файлы sitemap» → кнопка «Добавить sitemap». Аналогичная логика: подаёте, через 1–3 дня видите статус обработки. Google также показывает, сколько страниц из файла обнаружено и просканировано.
Дополнительно: указывайте путь к sitemap прямо в robots.txt через директиву Sitemap:. Тогда поисковик найдёт карту автоматически, даже если не смотреть в панели вебмастера.
Автоматическая генерация в 1С-Битрикс
Если сайт работает на 1С-Битрикс — генерировать sitemap вручную не нужно. В системе есть встроенный модуль «Поисковая оптимизация» (раздел «Маркетинг» → «Поисковая оптимизация»). Он умеет:
- автоматически собирать все страницы сайта и формировать sitemap.xml;
- разбивать карту на несколько файлов при большом числе URL;
- включать изображения (Image Sitemap);
- настраивать robots.txt через интерфейс, без редактирования файла вручную;
- задавать периодичность обновления sitemap — например, раз в сутки при ночном кроне.
Типовая проблема Битрикс-сайтов: модуль настроили при запуске — и забыли. Потом добавили новые разделы, переименовали категории, удалили старые страницы — а sitemap живёт прошлой жизнью. Проверяйте актуальность файла хотя бы раз в квартал. Для интернет-магазинов с постоянным обновлением ассортимента — раз в неделю или настройте ежедневную автогенерацию.
Если у вас нет Битрикса, но есть любая CMS — скорее всего, существует плагин для генерации sitemap. Для WordPress это Yoast SEO или Rank Math, для OpenCart — встроенные настройки SEO. Главное — проверять результат, а не просто включить и забыть.
Чек-лист: быстрая проверка sitemap и robots.txt
- Robots.txt открывается по адресу https://ваш-сайт.ru/robots.txt без ошибок.
- Нет строки
Disallow: /для основных роботов. - Корзина, личный кабинет, технические разделы закрыты.
- CSS и JS файлы — открыты (не в Disallow).
- В robots.txt прописана директива Sitemap: с правильным URL.
- Sitemap.xml открывается и валиден (проверьте в Яндекс Вебмастере).
- В sitemap нет URL со статусом 404 или 301-редиректом.
- Страницы в sitemap не закрыты в robots.txt.
- Lastmod — реальные даты, не одинаковые для всех страниц.
- Sitemap добавлен в Яндекс Вебмастер и Google Search Console.
Мини-кейс: как незакрытые параметры «съели» бюджет обхода
К нам обратился владелец интернет-магазина из Хабаровска: сайт есть, товары есть, но в поиске из 3000 карточек Яндекс видел от силы 800. Остальные просто не индексировались.
Открыли robots.txt — в нём закрыты только /cart/ и /login/. Фильтры каталога с параметрами ?sort=price, ?color=black, ?brand=samsung — открыты полностью. В итоге поисковик ходил по тысячам вариантов одной и той же страницы с разными параметрами, тратил краулинговый бюджет на дубли и просто не успевал добраться до реальных товарных страниц.
Решение: добавили Clean-param для Яндекса по всем параметрам фильтрации, закрыли через Disallow соответствующие URL-паттерны для Google, пересобрали sitemap без параметров. Через шесть недель число проиндексированных страниц выросло с 800 до 2700 — и трафик из органики увеличился почти вдвое. Ничего нового не делали: просто убрали то, что мешало.
Частые вопросы
Обязательно ли нужен sitemap.xml, если сайт небольшой?
Для сайта на 10–20 страниц с нормальной внутренней перелинковкой поисковик найдёт всё сам. Но sitemap не навредит даже маленькому сайту — зато ускорит индексацию при добавлении нового контента. При 50+ страницах он уже полезен, при 200+ — необходим.
Что будет, если я закрою страницу в robots.txt, но она уже в индексе?
Страница останется в индексе — robots.txt запрещает обход, но не удаление из поиска. Чтобы убрать страницу из индекса, нужно добавить метатег <meta name="robots" content="noindex"> или использовать инструменты удаления URL в Яндекс Вебмастере и Google Search Console.
Можно ли писать разные правила для Яндекса и Google?
Можно, через разные блоки User-agent: Yandex и User-agent: Googlebot. Но это оправдано только в конкретных случаях — например, директива Clean-param работает только у Яндекса. Для закрытия дублей и технических разделов лучше использовать единые правила для всех роботов.
Насколько часто нужно обновлять sitemap?
При каждом изменении структуры сайта: добавление раздела, удаление страниц, смена URL. Для интернет-магазинов с постоянным обновлением ассортимента — ежедневная автогенерация. Для блога или сайта-визитки — достаточно обновить после каждой публикации.
Как быстро Яндекс обходит sitemap после добавления?
Яндекс обычно читает файл в течение нескольких дней после добавления в вебмастер. Полная индексация новых страниц из sitemap занимает от нескольких дней до 2–3 недель — зависит от возраста домена, траста сайта и числа страниц. Регулярный свежий контент ускоряет обход.
Если хотите разобраться, как устроены эти файлы на вашем сайте — или нужна помощь с настройкой после разработки сайта на Битрикс или другой платформе — звоните нам: 8 800 55-100-10. Настраиваем sitemap, robots.txt и техническое SEO для проектов в Хабаровске, Владивостоке и по всему Дальнему Востоку.
