Sitemap: полное руководство по файлу карты сайта XML и TXT

Sitemap: полное руководство по файлу карты сайта XML и TXT
Содержание скрыть

Формат файла

Файл карты сайта может быть в формате XML или TXT. Первый позволяет передать поисковой системе больше полезной информации и поэтому рекомендуется.

При этом адрес файла не обязательно должен иметь в конце соответствующее разрешение, достаточно, чтобы содержимое самого файла придерживалось нужного формата. Например, XML-карту сайта можно разместить в /sitemap.php, и поисковые системы не сочтут ее неправильной или недоступной.

Это только XML и TXT? Не только карта сайта может быть отправлена ​​в виде фида (например, RSS или Atom), но этот формат карты сайта не поддерживается Яндексом

Ограничения

Файл должен быть закодирован в UTF-8.

Максимальное количество ссылок в одном файле — 50 000. Если вам нужно указать больше страниц, вы должны разделить карту сайта на несколько файлов.

Максимальный размер файла составляет 50 МБ (без сжатия).

Файл должен содержать только ссылки на страницы вашего домена.

Файл должен находиться в том же домене, для которого он был создан.

Все символы в URL должны быть экранированы (например, & нужно заменить на &).

Код ответа сервера при обращении к файлу должен быть 200 ОК.

Как проверить код ответа сервера Проверить его можно с помощью сервиса bertal.ru. Введите адрес файла, выберите из выпадающего списка YandexBot (или GoogleBot), установите флажок «Показывать html-код страницы» и нажмите кнопку «Проверить

Указывать только абсолютные ссылки на страницы сайта с правильным доменным именем (www/non-www, http/https).

XML формат

Формат XML является лучшим вариантом благодаря своей функциональности. Именно по этому стандарту большинство интернет-сайтов создают карты сайта.

Этот формат позволяет создавать не только файл карты сайта со ссылками на страницы сайта, но и индексный файл карты сайта (который содержит ссылки на все карты сайта).

Sitemap со страницами

Файл должен начинаться с пролога XML:

После пролога нужно указать тег , который содержит атрибут xmlns с указанным пространством имен:Далее должно быть описание каждой страницы в отдельном теге , включает теги, перечисленные в таблице:

МеткаОбязательныйОписание
ДаURL страницы сайта с указанием домена и протокола http/https.
НетДата последнего изменения страницы в формате W3C Datetime. Максимальный размер — 100 байт
НетКак часто меняется содержимое страницы. Максимальный размер 100 байт. Доступные варианты: всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно и никогда.
НетПриоритет страницы над другими. Задайте значение от 0,1 до 1,0. Приоритет страницы по умолчанию равен 0,5. Максимальный размер 100 байт.

Пример содержимого такого файла:




https://ilyagorbachev.com/page.html
20.05.2020
ежемесячно

0,9


Индекс карт sitemap

Файл индекса карты сайта имеет немного другой синтаксис, здесь вместо контейнера использовал и некоторые другие этикетки. Описание каждой карты сайта должно быть в отдельном теге .

МеткаОбязательныйОписание
ДаУказывает абсолютный URL-адрес, по которому находится файл карты сайта.
НетДата последнего обновления карты сайта в формате W3C Datetime.

Пример файла индекса карты сайта:




https://ilyagorbachev.com/sitemap-posts.xml
2020-05-20T13:37:12+03:00


Sitemap с изображениями

Карта сайта с изображениями особенно актуальна, если изображения, которые необходимо проиндексировать на вашем сайте, загружаются через JavaScript (или находятся на несканируемых страницах), потому что поисковые системы могут их не увидеть.

Синтаксис такого файла карты сайта немного отличается от обычного для контейнера дополнительно необходимо указать атрибут xmlns:image со ссылкой на пространство имен (теги изображения) также в контейнере дополнение к этикетке изображения имеют свои собственные теги.

МеткаОбязательныйОписание
изображение: изображениеДаКонтейнер, содержащий информацию об изображении. Страница (тег loc) может содержать до 1000 тегов image:image.
изображение:местоДаАбсолютный URL изображения. Изображение должно быть индексируемым: открывать в robots.txt и не иметь тега X-Robots без индекса.
снимок экранаНетСнимок экрана. Максимальный размер 384 байта.
изображение: географическое_местоположениеНетМесто для фото. Максимальный размер 256 байт.
название изображенияНетНазвание изображения. Максимальный размер 384 байта.
изображение:лицензияНетURL-адрес лицензии на изображение. Максимальный размер 256 байт.

Пример содержимого файла карты сайта с изображениями:




https://ilyagorbachev.com/page.html

https://ilyagorbachev.com/image.png
Медный всадник
Памятник Педро I на площади Пласа-дель-Сенадо
Санкт-Петербург




Sitemap с локализованными страницами

В дополнение к обычному тегу hreflang вы можете ссылаться на локализованные страницы с помощью карты сайта. Синтаксис аналогичен обычному файлу карты сайта для страниц сайта, но в теге атрибут xmlns:xhtml указывается со ссылкой на пространство имен xhtml тег все еще указан , но теги добавляются

AttributeRequiredDescription
настоящийДаВсегда указывается как «альтернативный». Указывает связь между текущим документом и документом на этикетке .
hreflangДаКод языка локализации по стандарту ISO 639-1 и регион (при необходимости) по стандарту ISO 3166-1 Alpha 2. Язык и регион можно вводить вместе через дефис.
hrefДаURL расположенной страницы с указанием домена и протокола http/https.

Пример файла карты сайта с локализованными версиями страницы:




https://ilyagorbachev.com/page.html





В этом примере страница /page.html помечена как английская, а страница /great-brit/page.html помечена как английская для жителей Великобритании. Страница /ru/page.html помечена для русскоязычных пользователей.

Sitemap с видео

С помощью карты сайта для видео вы можете передать название видео, его изображение, миниатюру, стоимость и многое другое.

Подробнее: https://support.google.com/webmasters/answer/80471

Sitemap с новостями

XML-карта сайта с новостями позволяет им быстрее ранжироваться в результатах поиска Google News. Но, конечно, это не гарантирует им высокий рейтинг в результатах поиска. Архив должен содержать ссылки на новости за последние два дня и содержать не более 1000 страниц новостей.

Узнайте больше: https://support.google.com/webmasters/answer/9606710.

TXT формат

Формат TXT файла карты сайта позволяет передавать только информацию об адресах страниц сайта, без указания последней даты их обновления и других параметров, которые позволяет формат XML.

Ссылки задаются в виде списка, как в примере:

https://ilyagorbachev.com/page1.html https://ilyagorbachev.com/page2.html https://ilyagorbachev.com/page3.html

Файл должен иметь расширение .txt, поддерживать кодировку UTF-8 и содержать только адреса страниц.

В каких случаях нужна карта сайта

Легко догадаться, что одностраничным сайтам не нужен файл sitemap.xml. А вот кому он точно пригодится:

  • сайты без хлебных крошек (хлебных крошек),
  • сайты с большим количеством страниц,
  • сайты с высокой вложенностью страниц, например «Главная/Каталог/Видео» или «Фотографии/Видеокамеры/Экшн-камеры/GoPro/GoPro 7».

Если у робота перед глазами карта, он легко дотянется до GoPro 7 и других мелких аксессуаров.

Можно ли обойтись без sitemap.xml

Можно обойтись и без sitemap.xml, но в этом случае поисковым ботам потребуется намного больше времени, чтобы прочитать информацию на вашем сайте. Также Яндекс отметит его в списке возможных ошибок, а не в списке фатальных ошибок.

Мы рекомендуем создавать карту сайта в следующих случаях:

  • Многие страницы сайта периодически обновляются.
  • На сайте есть страницы, на которые нет ссылок с других страниц сайта.
  • Сайт очень большой, имеет сложную структуру.
  • Новый сайт.
  • На сайте есть более и менее важные страницы.
  • Коммерческий сайт, успех бизнеса зависит от вашей помощи.

1C-Битрикс: встроенная функция

Настройки sitemap.xml доступны в разделе «Маркетинг» админ-панели сайта:

Добавьте файл, дайте ему имя и установите флажок для добавления ссылки на robots.txt:

Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковыми роботами:

То же самое проделайте во вкладке «Инфоблоки».

Сохраните все изменения и нажмите кнопку «Выполнить»:

После создания карты сайта вы увидите сообщение о том, что генерация завершена:

Как рассказать поисковым роботам о карте сайта

1. Укажите ссылку на файл в директиве sitemap файла robots.txt:

2. Добавьте файл sitemap.xml в разделы «Индексирование — Карты сайта» Яндекс.Вебмастера и разделы «Карты сайта» в Google Search Console.

Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.

Купить Отключить рекламу

Плагин Google XML Sitemaps ВордПресс

Один из лучших плагинов для WP. Он предоставит полную XML-карту сайта для поисковых систем. Его уже установили более 24 243 146 раз.

Google XML Sitemaps для сайта WordPress


Плагин Google XML Sitemap

Используйте этот плагин, он значительно улучшит ваше SEO. Он создаст специальную XML-карту сайта и поможет поисковым системам, таким как Google, Bing, Яндекс и Mail.ru, лучше индексировать ваш веб-ресурс. Эта карта сайта позволяет поисковым роботам увидеть полную структуру вашего сайта и более эффективно извлекать ее. Плагин поддерживает все типы страниц, сгенерированных WordPress, а также пользовательские URL-адреса.

Кроме того, он уведомляет все основные поисковые системы каждый раз, когда вы публикуете новый контент. Модуль полностью бесплатный и переведен на русский язык (хоть и не полностью, но самое главное переведен).

Установите плагин обычным способом с помощью функции Плагины — Добавить новый. В поле поиска введите свое имя Google XML Sitemaps:

Установите Google XML Sitemaps


Установите Google XML Sitemaps
Установить плагин из админки

Настройка XML Sitemaps

После успешной установки и активации плагина необходимо его настроить. В разделе «Настройки» нажмите XML-Sitemap:

карта сайта


карта сайта
Xml настройки карты сайта

Откроется страница: Генератор XML Sitemap для WordPress, где вам нужно его настроить. На этой странице вверху вы увидите ссылку на вашу карту:

Ссылка на xml-карту


Ссылка на xml-карту
Ссылка на xml-карту вашего сайта

Вы можете нажать на него и посмотреть, как он выглядит изначально:

XML-карта сайта


XML-карта сайта
XML-карта сайта для поисковых систем

Важные настройки находятся на нашем мощном родном русском языке, так что вам не составит труда во всем разобраться. Какие коррективы можно внести? Разработчик плагина указывает, что значения по умолчанию подходят для большинства сайтов. Но все же каждый пользователь должен решать сам.

Укажите, какие категории исключить из карты, содержание карты сайта, приоритеты, частоту изменений и т д. Примерно так должно быть:

настройка плагина карты сайта xml


настройка плагина карты сайта xml
Настройки для вашего сайта карты xml

Не обязательно включать в карту сайта архивы, теги и авторские страницы. Хотя я лично пользуюсь метками/отметками на карте.

После всех настроек обязательно нажмите «Обновить настройки». Готовый. Следующим шагом будет добавление файла карты сайта в поисковую систему для веб-мастеров, чтобы ускорить индексацию сайта WordPress. А также добавить ссылку на карту в robots.txt.

Итак, какие страницы должны быть включены в карту? В целях SEO рекомендуется включать только те страницы, которые вы хотели бы видеть в поиске.

Обратите внимание, что функция XML Sitemaps доступна в плагинах All in One SEO Pack и Yoast SEO, Rank Math SEO и других модулях SEO.

Маскирование

Экранирование в Sitemap.xml используется для URL-адресов и предназначено для интерпретации обычных символов в ваших псевдокодах HTML:

  • И коммерческий: & -> &
  • Одинарные кавычки: ‘ -> ‘
  • Двойные кавычки: » -> «
  • Подробнее: > -> >
  • Меньше чем:

Поэтому, согласно стандартам XML, привычный URL с параметрами и немаскированными спецсимволами будет недействителен, например:

URL страницы по умолчанию (недействительный)

https://www.site.ru/index.php?page=news&date=22071981

Действительный URL-адрес в карте сайта с маскировкой (символ & заменяется на «&»)

https://www.site.ru/index.php?page=news&date=22071981

Символы в URL-адресах, отличных от ASCI, также должны быть экранированы в дополнение к символу &. Пример URL:

http://www.site.ru/контакты.html

Тот же URL, замаскированный, для размещения в карте сайта:

http://www.site.ru/%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D1%8B.html

Как создать файлы Sitemap для сайта WordPress?

Плагин Google XML Sitemaps поможет нам создать блог или карту сайта в WordPress. Который формирует XML-файл, улучшающий индексацию веб-ресурса поисковыми системами, обновляющий его и т д. Вам просто нужно установить плагин, настроить его и можете забыть об этом. Установка Google XML Sitemaps является стандартной.

Разбиение Sitemap на составные части

Файл Sitemap.xml имеет ограничение как на размер содержащихся в нем URL-адресов, так и на размер самого файла. Каждый файл Sitemap.xml не должен содержать более 50 000 URL-адресов, а его размер не должен превышать 50 Мб для Google и 10 Мб для Яндекса (при необходимости файл может быть сжат в формате «gzip», но, однако, в несжатом форма также не должна превышать 50 мегабайт), поэтому, если вам нужно указать более 50 000 URL-адресов, вам необходимо создать несколько файлов карты сайта.

Поэтому за счет возможности разделения Sitemap на части можно обойти все эти ограничения и легко сгенерировать Sitemap на десятки и сотни тысяч страниц.

Разделение происходит путем создания родительского файла индекса Sitemap.xml, который содержит ссылки на дочерние файлы, которые являются стандартными файлами Sitemap.xml и содержат список конечных URL-адресов для вашего сайта. В основном индексном файле этот же тег используется для указания ссылок на вторичные карты сайта , в обрамлении этикетки и содержащие ссылки на дочерние Sitemap.xml (имена дочерних карт сайта можно указывать произвольно).

Пример XML-файла индекса карты сайта:

http://www.site.ru/sitemap-1.xml

2018-09-25T21:38:17+00:00

http://www.site.ru/sitemap-2.xml

2018-09-21

Формат дочерних файлов XML-карты сайта аналогичен стандартному Sitemap.xml.

Как sitemap.xml влияет на SEO

Я уже говорил, в каких случаях нужна карта сайта. Но что, если у вас небольшой сайт, 20 страниц, с «хлебными крошками» и мелкой вложенностью? Если вы не создадите файл, то после добавления сайта в Google Search Console и Яндекс.Вебмастер вы увидите ошибку, что этот файл отсутствует. Из-за этой ошибки поисковые системы могут пессимизировать ваш сайт. Как известно, чем меньше багов на сайте, тем успешнее он будет в продвижении. Не высмеивайте поисковые системы.

Карта сайта (Sitemap) в Rank Math

Включите функцию карты сайта Rank Math (в мастере настройки), которая помогает поисковым системам интеллектуально сканировать содержимое вашего сайта.

Как настроить карты сайта в Rank Math


Как настроить карты сайта в Rank Math
Настройки карты сайта в Rank Math

Выберите конфигурацию карты сайта и выберите тип сообщений или страниц, которые вы хотите включить в карту сайта. Обратите внимание, что вы можете включать ссылки на изображения из контента вашего сообщения WordPress в свою карту сайта. Это помогает поисковым системам лучше индексировать ваши изображения.

Добавьте созданный файл карты сайта в Google Search Console, Яндекс Вебмастер и другие ПС. Также включите ссылку на файл в robots.txt.

И в заключение

Основным преимуществом карты сайта XML является улучшенная возможность сканирования веб-ресурса. Карта сайта в формате XML помогает поисковым системам более эффективно индексировать содержимое вашего сайта.

С помощью карты сайта вы можете быть уверены, что Google, Яндекс и другие поисковые системы будут знать обо всем содержимом вашего сайта, независимо от того, индексируют они его или нет.

После создания и настройки карты сайта добавьте файл карты сайта в Яндекс.Вебмастер, чтобы ускорить индексацию сайта. Перейдите в Яндекс.Вебмастер — Индексирование — в разделе Sitemaps введите ссылку на XML-файл вашей карты сайта:

Добавьте файл Sitemap в Яндекс.Вебмастер, чтобы ускорить индексацию сайта


Добавьте файл Sitemap в Яндекс.Вебмастер, чтобы ускорить индексацию сайта
Добавьте файл карты сайта в Яндекс.Вебмастер

Добавьте файл карты сайта в Google Search Console. Введите относительный URL-адрес файла на странице отчета Sitemap и нажмите «Отправить:

Откройте отчет о карте сайта в Google Search Console


Откройте отчет о карте сайта в Google Search Console
Добавить карту сайта в консоль поиска Google

Теперь, когда вы пишете статью, плагин Google XML Sitemaps сообщит поисковым системам (не всем, а только Google, Bing, Yahoo и Ask.com) обновить ваш блог. Плагин автоматически обновит вашу карту сайта, если вы опубликуете ее, так что вам больше нечего делать.

Для других поисковиков нужно сделать так — читайте здесь.

Всего наилучшего и до новых встреч. До свидания!

Категории Плагины Навигация по записям Настройка Контактная форма 7 WordPress Gravatar (gravatar) WordPress — аватар для комментариев

Создаем карту сайта быстро и бесплатно

Нет никаких сложностей в создании карты сайта. Вбиваем в поисковой строке «сгенерировать карту сайта» и заходим на любой онлайн-генератор. Например, MySiteMapGenerator.

Мой генератор карты сайта

Въезжаем в сторону сайта и приступаем к созданию файла. Введите капчу и подождите. До 500 страниц: создание бесплатно.

Создать карту сайта

Затем мы загружаем файл, переименовываем его в sitemap.xml и загружаем в корень сайта. Осталось только сообщить поисковым системам, что на вашем сайте появилась карта.

Как настроить

Где взять файл карты сайта? Лучше всего настроить генерацию на сайте, установив соответствующий плагин (если вы используете популярную CMS) или заказав генерацию карты сайта у программиста.

Онлайн-генераторы

Следует понимать, что если онлайн-генератор может найти все страницы вашего сайта, то и поисковик сможет. Но все равно это не остановит, потому что в Яндекс.Вебмастере есть баг, да? Затем поддерживайте сравнительную таблицу бесплатных услуг, чтобы создать карту сайта для вашего ручного местоположения на сайте.

Конструктор страниц Преимущества Недостатки
countwordsfree.com/generate-site-mapдо 1000ПотерянныйБыстро, показывает прогресс и текущую страницу. Настройте учет рекомендаций robots.txt и атрибутов nofollow для ссылок.
xml-sitemaps.comдо 500ПотерянныйБыстро, показывает прогресс и текущую страницу.
www.mysitemapgenerator.comдо 500Ввод CAPTCHAБыстро, показывает прогресс и текущую страницу

После создания XML-файлов карты с помощью генераторов загрузите их самостоятельно и разместите на сайте, для которого они были созданы.

Десктопные программы

Вы также можете сгенерировать карту сайта на своем компьютере, для этого вам достаточно установить любую из указанных программ-краулеров, начать пропускать сайт, а затем экспортировать ее в формате карты сайта XML.

Так как мы традиционно не привыкли платить за ПО, ниже пойдет речь о свободном ПО.

Xenu’s Link Sleuth

Официальный сайт: http://home.snafu.de/tilman/xenulink.html

Бесплатная программа от немецкого разработчика для поиска битых ссылок на сайте. Позволяет экспортировать карту сайта в формате XML. Правда, он не подходит для сайтов, внутренние ссылки которых загружаются через JavaScript.

Создание файла карты сайта в Xenu's Link Sleuth

В отличие от других программ, представленных ниже, XENU не имеет ограничения на количество сканируемых страниц.

Screaming Frog SEO Spider

Официальный сайт: https://www.screamingfrog.co.uk/seo-spider/

Очень полезный инструмент, созданный англичанами. Правда, сканирование на нем ограничено 500 страницами. Он позволяет экспортировать страницы карты сайта и изображения в формате XML. Очень гибкие настройки экспорта карты сайта.

Создайте карту сайта в Screaming Frog

В платной версии нет ограничения на количество сканируемых страниц и есть возможность учитывать ссылки, созданные через JavaScript. У меня у самого установлена ​​платная версия «лягушки».

G-Mapper

Официальный сайт — http://g-mapper.co.uk/sitemap-generator.aspx

Бесплатный инструмент, специально разработанный для создания карты сайта. Экспорт данных в любой формат: XML, TXT, HTML и RSS. Генерирует карту сайта для страниц и изображений.

Из минусов стоит отметить, что для каждой страницы (или изображения) нужно вручную выставлять все необходимые параметры: lastmod, changefreq и другие. То есть для больших сайтов это не лучший вариант.

Создание карты сайта с помощью G-Mapper

После создания карты сайта добавьте ее в кабинеты вебмастеров поисковых систем

Зачем добавлять sitemap.xml в Google Search Console и Яндекс.Вебмастер? Очень простой. Яндекс.Вебмастер обязательно предложит вам это сделать, незаметно отметив отсутствующий файл sitemap.xml в вашей консоли как некритическую ошибку. Google Search Console этого не сделает, но добавление туда файла sitemap.xml значительно ускорит индексацию вашего сайта.

добавить sitemap.xml в консоль поиска

Sitemap.xml не сразу индексируется поисковыми системами. Поисковым системам потребуется некоторое время, чтобы начать индексировать сайт в соответствии с sitemap.xml, и вы увидите, что слово «успешно» светится зеленым.

А в Яндекс.Вебмастере:

добавление карты сайта в вебмастер

Вопрос необходимости карты сайта

Наличие карты сайта желательно на любом сайте. Но с одной стороны, острой необходимости в карте сайта нет, так как со временем поисковый бот будет заходить на ваш сайт и по ссылкам сканировать все доступные ему страницы. С другой стороны, для сайтов, контент которых часто обновляется и для которых важен порядок и приоритет обхода страниц (медиа, новостные агентства и т д.), этот файл будет жизненно необходим, так как с его помощью они смогут знать поисковым роботам, какие страницы индексировать в первую очередь, а какие позже.

Поэтому возникает справедливый вопрос: действительно ли Sitemap.xml необходим именно вашему сайту? Давайте узнаем.

Безусловно, этот файл будет актуален для сайтов объемом от 1000 страниц, а также для тех сайтов, объем страниц которых быстро растет и чей контент нуждается в частой переиндексации, поэтому благодаря этому файлу поисковая система У вас всегда будет под рукой актуальный список страниц вашего сайта, и с его помощью он своевременно проиндексирует все изменения. Поэтому этот файл актуален для сайтов, контент которых меняется часто и в больших объемах (добавлено 50 страниц, удалено 40, обновлено 175 и т.д.):

  • СМИ, новостные порталы
  • интернет-порталы
  • каталоги товаров, агрегаторы
  • интернет-магазины
  • форумы, обзоры, сайты вопросов и ответов

Для таких сайтов этот файл должен стоять на первом месте, так как от него зависит релевантность выдаваемой информации в результатах поиска.

Пример индексации через карту сайта при добавлении большого количества страниц на сайт:

Примечание. Файлы Sitemap в этом случае должны создаваться на стороне сервера. Формирование онлайн-карты сайта с помощью сервисов или программ для ПК не имеет смысла из-за низкой скорости и трудоемкости загрузки файлов данных на сервер (для крупных порталов, каталогов и интернет-магазинов такие файлы необходимо обновлять чуть ли не каждый час (например, обновить цены в интернет-магазине)).

Вторая категория сайтов, которым тоже нужен этот файл — это сайты от 100 до 1000 страниц, представляющие как коммерческие услуги, так и просто информационные страницы:

  • сайты по продаже товаров и услуг
  • сайты компаний и представительства
  • ведение блога

На таких сайтах приток новых страниц обычно происходит без проблем, удаление страниц и разделов происходит еще реже. Так что, конечно, на таких сайтах должны быть файлы XML Sitemap, но в данном случае этот файл важнее для начальной индексации сайта (чтобы за одно сканирование файла поисковый бот узнал обо всех страницах сайта) сайт) сайт) сайт и быстро их индексирует). Кроме того, новые страницы, ввиду их уникального добавления, можно отправить на переиндексацию даже через панель веб-мастеров Яндекса или Google и таким образом сохранить релевантность страниц для поисковых систем. Файлы Sitemap для этих типов сайтов могут создаваться специальными программами и сервисами, описание которых приведено ниже.

Третья категория сайтов — это сайты объемом до 100 страниц, к которым относятся:

  • лендинги (одностраничные сайты по продаже конкретного товара или услуги)
  • промо-сайты (например, сайты коттеджных городков)
  • сайты визитки
  • домашние страницы

Все эти сайты часто содержат небольшое количество страниц об одной услуге, продукте или событии. Для таких типов сайтов нет необходимости в Sitemap. Поскольку контент на них очень редко обновляется, а новые страницы добавляются скупо, поисковые роботы не часто упускают такие сайты из-за небольшого количества страниц на них, поэтому использование файла Sitemap .xml, как и его предшественника HTML-карты сайта, вполне оправдано подходит для этих сайтов: это обычная HTML-страница, стилизованная под макет сайта, содержащая все ссылки на внутренние страницы сайта в иерархическом (обычно древовидном) виде. Поэтому поисковая система, посещающая эту страницу, может пропустить все страницы сайта и проиндексировать их или обновить информацию о них:

Примечание: на данный момент создание таких страниц перестало быть актуальным в связи с переходом на формат XML, который не нужно создавать вручную, а можно сгенерировать специальными программами или сервисами (их примеры представлены ниже).

Поэтому, из всех вышеперечисленных выводов, можно прийти к простому выводу, что чем выше объем страниц на вашем сайте и чем чаще он обновляется, тем острее необходимость наличия в нем карты сайта Sitemap.xml, которая должна в идеале генерироваться на сервере автоматически, без вмешательства человека.

Важно!

Карта сайта должна включать только релевантные страницы сайта, необходимые для индексации, и давать код ответа сервера 200. Все остальные службы, технические страницы или страницы, индексация которых запрещена, не должны присутствовать в карте сайта.

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла не должен превышать 10 МБ;
  2. Карта не должна содержать более 50 000 ссылок. В случаях, когда ссылок больше, можно создать несколько карт и включить их в основную xml-карту;
  3. Адрес карты сайта должен быть прописан в robots.txt;
  4. Также загрузите карту сайта на Яндекс и Гугл (как добавить файл описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают понять поисковым системам, что это карта, а не что-то другое;
  6. Карта сайта должна быть закодирована в UTF-8.

Вот простой пример карты:

http://site.ru/

2016-11-20T19:45:08+03:00

навсегда

0,9

http://site.ru/category/

2016-11-20T19:46:38+03:00

ежемесячно

0,6

http://site.ru/page/

2016-11-20T19:48:41+03:00

ежегодный

0,4

Теги url и loc обязательны. Первый прописывает всю информацию о конкретном URL. Второй содержит сам адрес.

Теги приоритета lastmod, changefreq необязательны, но все же рекомендуются.

Lastmod в карте сайта отвечает за дату последнего обновления.

Changefreq указывает, как часто меняется страница. Значения могут быть:

  1. Каждый час — обновлять каждый час;
  2. Всегда — всегда обновляется;
  3. Еженедельно: обновляется раз в неделю;
  4. Ежедневно — обновления происходят ежедневно;
  5. Ежемесячно: обновления производятся раз в месяц;
  6. Годовой — один раз в год;
  7. Никогда: не обновлять (это значение лучше не использовать).

Приоритет сообщает поисковым системам, насколько важна страница по сравнению с другими. Приоритет может быть установлен от 0,1 (низкий) до 1 (высокий).

Это был просто пример карты, вам не нужно указывать эти точные значения. В целом рекомендуется устанавливать приоритет следующим образом: максимальный для главной страницы (1), для заголовков — средний (0,6), а для постов — минимальный (0,4).

Теперь рассмотрим пример, когда ссылок больше 50 тысяч. В этом случае файл включает в себя другие карты:

http://site.ru/sitemaps/sitemap01.xml

2016-11-20T21:37:28+03:00

http://site.ru/sitemaps/sitemap02.xml

2016-11-20T21:37:29+03:00

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нам карта сайта? Мы обнаружили. Теперь посмотрим, в каких форматах это можно сделать:

  1. В формате html. Он создан в виде обычной страницы с адресами, ведущими к основным разделам ресурса. Этот тип карты помогает быстро ориентироваться и предназначен больше для людей, чем для поисковых ботов. В HTML-карту сайта можно помещать ограниченное количество ссылок (не более 100), потому что если их будет больше, то не все они попадут в индекс. Либо поисковые боты могут полностью исключить такую ​​страницу из поиска по избыточному количеству URL, в том числе внутренних.
  2. Создание карты сайта из xml файла. Здесь нет слишком критичных ограничений по количеству ссылок, и поисковые системы лучше его индексируют, ведь файл карты сайта в формате xml содержит полную информацию в понятном для робота виде. Это особенно важно для проектов, где сотни и тысячи документов одинаковой важности, и необходимо разместить на них все ссылки. В этом типе карты сайта возможно разместить до 50 тысяч URL и, кроме того, можно настроить частоту обновления и примерный приоритет (приоритет), чего нельзя сказать о карте в формате HTML. Именно по этим причинам карты сайта почти всегда создаются в формате xml.

Вот дополнительная информация об этом файле:

При любом способе обратите внимание на следующие моменты:

  • Вы должны поместить файл sitemap.xml в корень сайта.
  • Ссылки на карту сайта не должны противоречить правилам файла robots.txt. Другими словами, страницы, закрытые индексацией в robots.txt, не должны быть в XML-карте сайта.
  • После автогенерации необходимо проверить и исправить XML-карту для URL-адресов, которые не требуются для индексации.

Давайте подробнее рассмотрим наиболее популярные способы создания XML-карты.

Как проверить сайтмап и сообщить о нем поисковикам

Проверить валидность карты сайта можно, добавив ее в вебмастер Google или Яндекс. Это самый простой способ, поисковые системы будут лучше сообщать вам об ошибках.

Вот где находится чек в Яндекс Вебмастер:

проверить-карта сайта

И вот где в Google Webmaster Tools:

проверить-карта-сайта-google

Вы можете сообщить Яндексу о карте сайта, добавив в robots.txt следующий код:

Карта сайта: http://site.ru/sitemap.xml

Далее на webmaster.yandex.ru нужно открыть «Файлы карты сайта» (пункт меню «настройки индексации») и прописать туда адрес карты xml.

По аналогии можно добавить карту сайта в Google. Есть только «Файлы Sitemap» в другой вкладке — «Сканирование».

Настройка в популярных CMS

Если вы используете одну из популярных CMS, то проблема с генерацией файла карты сайта для вас наверняка давно решена. Это могут быть плагины или образцы кода, упрощающие настройку карты сайта.

Плагины для WordPress

WordPress — самая популярная CMS в мире, и для нее существует множество отличных XML-плагинов карты сайта.

Yoast SEO — бесплатный плагин. Генерирует не только карту страниц сайта, но и карту с изображениями. Этот плагин используется на моем сайте.

All in One SEO Pack также является бесплатным плагином. Расширенные настройки генерации карты сайта (в самом Yoast есть только одна кнопка включения/выключения). Я подключил его к сайту статей, он работает нормально.

XML Sitemap & Google News — это бесплатный плагин, предназначенный только для создания карты сайта. Это не сложный SEO-плагин, в отличие от предыдущих. Менее популярен и поэтому при возникновении ошибок рекомендую не заморачиваться с ним и выбрать другой плагин.

Плагины для Joomla

Сами разработчики Joomla на официальном сайте рекомендуют следующие плагины для генерации карты сайта.

Xmap — бесплатный компонент для создания карты сайта. Генерирует карту на основе меню сайта. Вы можете исключить из карты ненужные пункты меню.

SEF Service Map — аналогичный бесплатный компонент. Он также генерирует карту сайта на основе меню. Есть интеграция с основными компонентами Joomla (контент, ссылки, новости и контакты).

Настройка в Тильда

Если вы продвигаете сайт на конструкторе Тильда, можете расслабиться. Конструктор сам создает и обновляет карту сайта. Вы можете найти его, добавив /sitemap.xml к адресу сайта в конце.

Вы хотите изменить карту сайта? Перейдите с конструктора на полноценную CMS, чтобы лучше оптимизировать сайт.

Создание файла sitemap.xml при помощи он-лайн генератора.

Этот способ хорош только тем, что не привязан к конкретной CMS и может создавать sitemap.xml для HTML-сайтов. Этот способ подходит для очень маленьких сайтов-визиток, потому что у вас есть ограничение на количество страниц сайта при создании sitemap.xml. Если вы собираетесь развивать свой сайт и добавлять все новые и новые страницы, то бесплатные версии онлайн-генераторов вам не подходят, а платные достаточно дороги.

Список некоторых онлайн-генераторов:

  • XML карты сайта.
  • Генератор XML-карты сайта.
  • Онлайн-генератор XML-карты сайта.
  • Мой генератор карты сайта.

Генератор XML-карты сайта

Загрузите полученный файл sitemap.xml на свой компьютер, а затем загрузите его в корневой каталог вашего сайта. Это можно сделать с помощью FTP-клиента, такого как FileZilla.

Если вы не знаете, где находится корневой каталог сайта, найдите файл index.html. Еще проще: обратитесь к своему хостинг-провайдеру, и они вам помогут.

Онлайн генераторы карты сайта

Если на сайте мало страниц, создайте карту сайта с помощью онлайн-генераторов.

Более популярным:

  • Mysitemapgenerator: бесплатно сканирует до 500 страниц, есть платный план и подписка на автоматически обновляемый файл sitemap.xml.
  • Xml-карты сайта — бесплатно без регистрации позволяет отслеживать до 500 страниц, есть платный аккаунт и php версия для установки на сервер англоязычный сервис.
  • Web-Site-Map: Количество свободных страниц для динамической генерации изменений в зависимости от фактической нагрузки на сервер. Он имеет валидатор и сообщает о битых ссылках.
  • Gensitemap: вы можете бесплатно отслеживать до 1000 страниц.

Большим недостатком онлайн-генераторов является то, что они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, этот способ не подходит.

Варианты генерации Sitemap.xml

Существует несколько способов генерации, перечислим их:

1. Генерация карты сайта с помощью онлайн-генератора (стоит учитывать, что такие генераторы часто платные)

В сети достаточно сервисов для создания карты сайта, но они имеют некоторые ограничения:

  • обычно на таких сервисах нельзя сгенерировать более 500 страниц бесплатно
  • для больших сайтов (от 5000 страниц) генерация может занять много времени
  • генерация карты сайта для крупных порталов может происходить даже с ошибкой из-за нехватки ресурсов сервера, на котором находится этот сервис

Пример онлайн-генератора MySitemapGenerator.com:

Примечание. Недостатком этого метода является то, что при каждом обновлении сайта карту сайта необходимо создавать вручную и загружать на сервер.

2. Автоматическая генерация Sitemap.xml CMS (например, такая функция есть в Bitrix, WordPress, Opencart и других системах управления контентом)

Вариант с наивысшим приоритетом, который позволяет установить частоту обновления карты сайта через систему управления контентом и не позволяет веб-мастеру вручную размещать карту сайта на сайте.

Пример модуля генерации Sitemap.xml для CMS Opencart:

3. Генерация карты сайта с помощью программы для ПК

Этот вариант подходит для небольших и средних сайтов, контент которых регулярно обновляется.

Недостатки этого метода:

  • после создания карты сайта ее необходимо загрузить на сервер вручную
  • большинство этих программ-трекеров для пк платные

Пример генерации Sitemap.xml с помощью бесплатной программы SiteAnalyzer:

SiteAnalyzer

  • скачать дистрибутив софта
  • после запуска программы введите URL сайта и начните сканирование
  • после сканирования в главном меню выберите пункт Проекты -> Создать карту сайта
  • в результате получаем карту сайта (из одного файла или из нескольких файлов, если количество страниц превышает 50 000)
  • загрузить карту сайта в корень вашего сайта по протоколу FTP

4. Создание карты сайта вручную

Ручное создание возможно для сайтов объемом до 10 страниц, однако для ускорения процесса проще использовать любой онлайн-генератор или программу для ПК.

Подводя итог всему вышесказанному, можно выделить основные моменты, на которые стоит обратить внимание при формировании карты сайта:

  • для ресурсов с часто обновляемым контентом карта сайта должна формироваться на стороне сервера
  • sitemap.xml должен содержать только релевантные страницы сайта, которые возвращают код ответа сервера 200 и могут индексироваться
  • для качественной индексации ресурса карта сайта должна обновляться каждый раз при обновлении контента сайта

Вот и все!

Спасибо за внимание и до скорой встречи! :-)

полезный

Сервисы для проверки правильности карты сайта:

  • Вебмастер Яндекса: https://webmaster.yandex.ru/tools/sitemap/
  • Веб-мастер Google: https://www.google.com/webmasters/ (Ваш сайт -> Сканирование -> Файлы Sitemap -> Добавить/проверить файл Sitemap)

Ссылки на карту сайта Описание:

  • Справка Яндекса: https://yandex.ru/support/webmaster/controlling-robot/sitemap.html
  • Справка Google: https://support.google.com/webmasters/answer/183668
  • Описание протокола на русском языке: https://www.sitemaps.org/ru/protocol.html

Оцените статью 4.7/59

Другие статьи:

  • 18 этапов просмотра сайта перед покупкой
  • Реальные способы продвижения сайтов со ссылками в 2018 году
  • Быстрый тест скорости загрузки страниц сайта

FacebookВконтактеОдноклассникиTwitter
Включите JavaScript для просмотра комментариев с помощью Disqus.

Источники
  • https://seo-rocket.pro/sitemap/
  • https://timeweb.com/ru/community/articles/chto-takoe-sitemap-xml-i-chem-etot-fayl-pomogaet-v-prodvizhenii
  • https://yurcom.ru/kak-sozdat-sitemap-xml-kartu-sayta-i-nastroit-eyo/
  • https://vc.ru/seo/102075-kak-sdelat-xml-kartu-i-zadat-rezhim-obhoda-sayta
  • https://WordPressMania.ru/karta-sayta-sitemap-dlya-google-i-yandeks/
  • https://Site-analyzer.ru/articles/sitemap-xml-generation-dlya-sajta/
  • https://znet.ru/raskrutka/sozdanie-sitemap-xml-pravilno-dlya-yandeksa-i-google/

[свернуть]
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...