Использование файла Sitemap. XML Sitemap: полное руководство по использованию Неестественный sitemap xml
С помощью отчета о файлах Sitemap вы можете отправить в Google карту своего сайта, посмотреть историю ее отправки, а также сведения об ошибках, с которыми столкнулась наша система при анализе файла Sitemap.
Что такое файл Sitemap? Нужен ли мне этот тип отчета?
Файл Sitemap размещается на вашем сайте и содержит информацию обо всех его новых и измененных веб-страницах. Если ваш ресурс небольшой (менее 100 страниц), возможно, вам будет проще запросить индексацию главной страницы , при условии, что на ней (или на одной из тех, на которую она ссылается непосредственно либо через другие страницы) есть ссылки на все остальные страницы.
Управление файлами Sitemap
Как отправить файл Sitemap
Выполните следующие действия:
- Разместите файл Sitemap на своем сайте. Требования:
- Файл Sitemap должен быть в .
- Файл Sitemap должен быть доступен роботу Googlebot.
- У вас должно быть разрешение владельца . Если его нет, вы можете вместо отправки файла добавить ссылку на него в файл robots.txt .
- Укажите относительный URL файла на странице с отчетом о файлах Sitemap и нажмите Отправить .
- Сразу же начнется обработка файла Sitemap. Учтите, что для сканирования перечисленных в нем URL может потребоваться некоторое время. Иногда отсканировать удается не все URL (это зависит от размера сайта, трафика и других факторов).
Внимание!
Если вы уже отправляли нам файл Sitemap, не нужно отправлять его повторно, даже если вы внесли в него изменения (мы заметим их при следующем сканировании сайта).
Как удалить файл Sitemap
Если вы удалите файл Sitemap, он будет удален из соответствующего отчета, но останется в Google, как и все URL, которые были в нем указаны. Если вам нужно, чтобы роботы Google перестали посещать ваши веб-страницы, добавьте правило в файл robots.txt .
Чтобы удалить файл Sitemap, выполните следующие действия:
Как интерпретировать отчет
- В отчете показываются только файлы Sitemap, отправленные с его помощью, а не обнаруженные по ссылкам в файле robots.txt или другими способами. Тем не менее, если мы уже получили ваш файл Sitemap из другого источника, вы все равно можете отправить его нам через этот отчет, чтобы мы могли убедиться в правильности данных и определить коэффициент ошибки.
- В отчете показаны только файлы Sitemap, относящиеся к текущему ресурсу.
- В файле Sitemap можно указывать URL изображений , видео и новостных статей . Но в настоящее время в отчете не отображаются сведения об этих типах адресов.
Для каждого файла Sitemap указывается следующая информация:
URL файла Sitemap Адрес, по которому размещен файл, относительно корневого каталога ресурса. Тип Тип файла Sitemap. Возможные значения:- Sitemap – обычный XML-файл или текстовый файл Sitemap .
- Файл индекса Sitemap – файл Sitemap с информацией о других файлах Sitemap .
- RSS – файл Sitemap в формате RSS-фида .
- Atom – файл Sitemap в формате фида Atom .
- Неизвестно – файл имеет неизвестный формат или ещё не обработан.
Моего файла Sitemap нет в списке
Вот несколько причин, по которым файл Sitemap может отсутствовать в отчете:
- Он относится к другому ресурсу. Файлы Sitemap, связанные с одним ресурсом, недоступны для других. Например, файлы в домене http://example.com не будут представлены в отчете по доменам http://m.example.com или https://example.com . Чтобы решить эту проблему, убедитесь, что вы добавили все версии URL своего ресурса.
- Вы не посылали в Google файл Sitemap с помощью отчета. Если вы отправляли файлы Sitemap другим способом, они не будут показаны в списке, даже если Google может найти и использовать их.
Ошибки в файлах Sitemap
В отчете по файлам Sitemap может появляться информация об ошибках, перечисленных ниже.
Переход по URL не выполнен
Google не удалось просканировать все URL, указанные в файле Sitemap. Возможные причины:
- По URL выполняется слишком много переадресаций. Рекомендуем заменить такие URL на адреса, которые могут быть просканированы непосредственно.
- Если вы постоянно перенаправляете с одной страницы на другую, используйте окончательную переадресацию.
- Рекомендуем отказаться от переадресации с помощью JavaScript или метатега refresh.
- Роботам Google не удается просканировать относительные URL в вашем файле Sitemap. По возможности используйте абсолютные ссылки вместо относительных. Например, ссылаясь на другую страницу своего сайта, используйте URL https://www.example.com/moya-stranitsa.html , а не просто moya-stranitsa.html .
Недействительные URL
Некоторые URL-адреса находятся на более высоком уровне по отношению к файлу Sitemap или в другом домене.
Более высокий уровень. Если файл находится на странице http://www.example.com/mysite/sitemap.xml , то для него недействительны следующие URL:
- http://www.example.com/ – находится на более высоком уровне, чем файл Sitemap;
- http://www.example.com/yoursite/ – находится в дочернем каталоге файла Sitemap (необходимо перейти на более высокий уровень, а затем на более низкий).
Другой домен. Убедитесь, что все адреса начинаются с домена, в котором хранится ваш файл Sitemap. Например, если файл находится на странице http://www.example.com/sitemap.xml , то для него недействительны следующие URL:
- http://example.com/ – отсутствует www в начале.
- www.example.com/ – нет префикса протокола (http).
- https://www.example.com/ – указан протокол https вместо http.
Ошибка сжатия
Ошибка при попытке распаковать заархивированный файл Sitemap. Выполните сжатие ещё раз (например, с помощью gzip), а затем загрузите его на сайт и повторно отправьте в Google.
Пустой файл Sitemap
В файле Sitemap отсутствуют URL. Убедитесь, что он не пустой.
Превышен максимально допустимый размер файла Sitemap
Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе , а затем отправьте нам каждый из них отдельно.
Неверное значение атрибута
Атрибут, связанный с одним из тегов XML в файле Sitemap, имеет недопустимое значение. Проверьте файлы Sitemap и убедитесь, что все атрибуты используются согласно техническим требованиям к таким файлам. Проверьте, нет ли опечаток в значениях атрибутов.
Недопустимая дата
Одна или несколько дат в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C . Время можно не указывать. Убедитесь, что все даты записаны в одном из допустимых форматов кодировки согласно W3C .
2005-02-21 2005-02-21T18:00:15+00:00
Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако если вы все же делаете это, не забудьте указать часовой пояс.
Недопустимое значение тега
В файле Sitemap содержится один или несколько тегов с недопустимым значением. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. п.).
Недопустимый URL
В файле Sitemap указан недействительный URL. Возможно, он содержит недопустимые символы (пробелы, кавычки и т. д.) или другие ошибки форматирования, например имеет префикс htp:// вместо http:// .
Отсутствует URL значка видео
В одной или нескольких записях о роликах отсутствует ссылка на значок видео. Убедитесь, что в тегах
Отсутствует название видео
В некоторых записях о роликах отсутствует название. Убедитесь, что в тегах
Неверный формат индекса Sitemap: вложенные файлы индекса Sitemap
В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap. Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на индексы.
Удалите записи, указывающие на индексы Sitemap, и повторно отправьте файл.
Ошибка синтаксического анализа
Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.
Часто это происходит из-за неэкранированных символов в одном из URL. Как и в файлах XML, любые значения данных (включая адреса URL) должны использовать экранирующие коды для некоторых символов, таких как & " " < >. Проверьте, правильно ли настроено экранирование URL .
Временная ошибка
Файл Sitemap не удалось обработать из-за временной ошибки системы. Как правило, при этой ошибке отправлять файл заново нет необходимости. Робот Google попробует получить его позже. Если это сообщение об ошибке будет отображаться и по прошествии нескольких часов, отправьте Sitemap ещё раз.
Слишком много файлов Sitemap в файле индекса
В файле индекса более 50 000 файлов Sitemap. Разделите его на несколько и убедитесь, что в каждом указано не более 50 000 файлов Sitemap.
Слишком много URL в файле Sitemap
В файле Sitemap более 50 000 URL. Разделите его на несколько, каждый из которых содержит до 50 000 адресов. Для удобства можно создать файл индекса Sitemap .
Неподдерживаемый формат файла
Вы создали некорректный файл.
Чтобы избежать самых частых ошибок XML, проверьте следующее:
- В файлах Sitemap должны быть правильные заголовки. Например, если содержание файла представляет информацию о видео, заголовок должен быть следующим:
- Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9 ).
- Все атрибуты XML нужно заключать в одинарные (") или двойные (") кавычки, которые должны быть только прямыми. Внимание! Текстовые редакторы, например Microsoft Word, могут автоматически менять их на фигурные.
Несоответствующий путь: отсутствует префикс www
Путь к файлу Sitemap не содержит префикс www (например, http://example.com/sitemap.xml), однако этот префикс есть во всех перечисленных в файле URL (например, http://www.example.com/myfile.html).
Измените файл Sitemap, удалив префикс www из всех URL.
Несоответствующий путь: имеется префикс www
Путь к файлу Sitemap содержит префикс www (например, http://www.example.com/sitemap.xml), однако этого префикса нет во всех перечисленных в файле URL (например, http://example.com/myfile.xml).
Измените файл Sitemap, добавив префикс www во все URL.
Неправильно указано пространство имен
В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.
Убедитесь, что пространство имен задано правильно с учетом типа файла. Пример:
- Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
- Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
- Файл индекса
Sitemap:
Файл Sitemap начинается с пробела
Ваш файл Sitemap начинается с пробела, а не с пространства имен. Файлы XML должны начинаться с декларации XML , в которой указана используемая версия XML.
Эта ошибка не помешает Google обработать ваш файл Sitemap, однако лучше удалить пробел, чтобы файл соответствовал стандартам XML и сообщение об этой ошибке больше не появлялось.
Ошибка HTTP (конкретный код )
При попытке скачать файл Sitemap произошла ошибка HTTP . В сообщении о ней будет указан код статуса (например, 404). Убедитесь, что URL файла Sitemap записан верно и файл находится в указанном месте. Затем повторно отправьте его в Google.
Значок видео слишком велик
Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте его в Google.
Значок видео слишком мал
Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap.
Местоположения видео и страницы воспроизведения совпадают
Указанные в файле Sitemap URL видео и страницы воспроизведения не должны совпадать. Если используются оба тега (
URL местоположения видео указывает на страницу воспроизведения
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt
Роботу Google не удалось обработать файл Sitemap, поскольку доступ к нему или его содержанию запрещен в файле robots.txt . С помощью инструмента проверки URL выясните, какой именно файл вызывает проблему, и внесите в robots.txt необходимые изменения.
Эта информация оказалась полезной?
Как можно улучшить эту статью?
Как часто после создания нового сайта для него создается карта сайта? Судя по нашей статистике вновь прибывших проектов, как минимум 50-60% сайтов создаются без генерации карты в формате sitemap.xml. Да, можно аргументировать тем, что дело разработчика – это создать сайт. Как он будет индексироваться и нас колько быстро попадет в индекс поисковых систем - это дело владельца сайта. В принципе, тоже верно, но создать Sitemap.XML и тем самым сделать как минимум приятный бонус для клиента – это вопрос нескольких минут.
Итак, что есть Sitemap.XML и чем может бать полезен? Расскажу об этом далее.
Sitemaps-XML-файл с информацией о страницах сайта для поисковых систем. Данный файл оказывает помощь поисковым системам в сканировании и индексировании страниц сайта. Стоит отметить, что данный файл не является директивой, а всего лишь своеобразным предложением к сканированию и индексации необходимых страниц сайта. Создавая такой файл для своего нового сайта, тем самым вы облегчаете (читайте, ускоряете) работу поисковых систем по сканированию и индексации сайта.
Пример Sitemap .xml
Привожу пример того как может выглядеть Sitemap в формате xml. (в нем описана только одна страница сайта)
Как создать Sitemap.xml
Для автоматизированного создания карты сайта есть достаточно много онлайн сервисов. Например: раз , два .
Как использовать Sitemap.xml
Как правило, файл располагают в корневой директории сайта, чтобы он был доступен по адресу http://www.site.com.ua/sitemap.xml.
В файле должно быть не более 50 000 URL и размер его не должен превышать 10 МБ. Если требуется указать более 50 000 URL, создаем несколько файлов Sitemap.
Проверка корректности созданного файла Sitemap
Для определения элементов и атрибутов, которые могут появляться в файлах Sitemap, используются следующие XML-схемы:
Оповещение поисковых систем о файле карты сайта
После создания файла карты сайта и его размещения, требуется оповестить создан и размещен на веб-сервере, необходимо оповестить поисковые системы о его местонахождени.
Данную операцию можно сделать несколькими методами:
- с помощью панели вебмастера поисковой системы
- указав местоположение файла в файле robots.txt
- с помошью специального запроса к поисковой системе (как создать запрос описано ниже)
В таблице приведены запросы к некоторым поисковым системам
| Поисковая система | Адрес |
| http://google.com/webmasters/sitemaps/ping?sitemap= | |
| Яндекс | http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host= |
| Yahoo! | http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap= |
Эпилог
Стоит отметить, что создание таких файлов как sitemap.xml и robots.txt являются одними из первых «джентльменских» действий после создания нового сайта.
Привет. Много прошло времени с того момента, как мы учились на wordpress создавать xml карту сайта данного формата, используя для этого плагин Google XML Sitemaps.
Однако после обновления этого модуля до версии 4.0 карта претерпела ряд изменений и заставила многих сайтостроителей найти ей замену по средствам плагина All in One Seo pack.
В этой статье я разберу оба способа создания таких карт, а вы уже сами решайте, который хотите использовать на своей площадке.
Для тех, кто совсем недавно создал блог и еще не понимает, зачем она нужна, стоит понять простую истину.
Вебмастера должны помогать поисковым системам находить статьи сайта, а также показывать, какие из них обновились, чтобы роботы ПС могли проиндексировать их повторно.
Для этого создается в корневом каталоге файл sitemap.xml , где хранится перечень всех статей и страниц сайта, с информацией о времени последнего изменения и других не менее важных параметрах.
Проще говоря, такой файл является путеводителем по сайту, куда заглядывает каждый поисковый робот без исключения. Конечно же, не стоит рассчитывать, что Яндекс или Google на все 200% будет индексировать страницы при наличии данной карты, однако наличие ее по адресу http://ваш-сайт/sitemap.xml - обязательно.
Установка карты сайта плагином Google XML Sitemaps от 4.0 версии
Итак, начнем...
Первое . Сначала избавляемся от плагина Google XML Sitemaps, для этого деактивируем его в административной панели и радуемся небольшому ускорению сайта.
Второе . Переходим в корневую папку и удаляем старые файлы sitemap.xml и sitemap.xml.gz , но все же рекомендую где-нибудь на компьютере сохранить их резервную копию.
Третье . Переходите во вкладку плагина All in One Seo pack «SEO инструменты» — «Другие модули» и активируете модуль «Карта сайта».
В основных настройках указываем стандартный префикс файла, отмечаем какие поисковики следует уведомлять, если вы внесете изменения в ее содержание.
Далее указываем, из каких элементов будет состоять sitemap карта площадки, я оставил только записи и страницы, а также отметил самый последний пункт, чтобы плагин автоматически генерировал новую карту, по мере добавления новых ссылок.
Здесь можно исключать из xml ненужные категории, страницы и записи.
Задаем приоритеты для страниц сайта.
Указываем, с какой частотой надо поисковикам индексировать страницы. Последние два параметра не имеют значимой роли.
Ну и конечно же не забываем проверить работоспособность новой карты по адресу .
Вроде все. На этом я заканчиваю пост, хотел разделить его на две отдельных статьи, но в последний момент передумал.
Приветствую Вас, дорогие друзья, на страницах сайт ! Сегодня я покажу, как добавить Sitemap.xml в Google и Яндекс . Напомню, что файл Sitemap – это карта сайта в формате XML для поисковиков, которая не видна посетителям блога. Она содержит список страниц сайта, которые должны быть проиндексированы поисковыми роботами, информацию о степени их важности и частоте обновления. Создание такой карты сайта помогает улучшить внутреннюю SEO оптимизацию сайта.
Как добавить карту сайта Sitemap.xml в панели для вебмастеров Яндекс и Google
Чтобы добавить файл Sitemap в Google и Яндекс, надо, прежде всего, его создать. Далее добавляем сайт в панели для вебмастеров Яндекса и Гугла и подтверждаем права на сайт. Если Вы этого еще не сделали, то ранее я писал, и .
Теперь переходим непосредственно к добавлению карты сайта в поисковики. Сообщить поисковым системам о наличии файла Sitemap можно двумя способами:
- Добавить директиву Sitemap в файл robots.txt. Подробнее об этом в статье “ “.
- Добавить файлы Sitemap в поисковики в Яндекс.Вебмастер и Инструменты для веб-мастеров Гугл.
Даже если у Вас уже прописаны пути к карте сайта в robots.txt, выполнение второго способа будет совсем не лишним.
Заходим в панель Яндекс.Вебмастер по ссылке http://webmaster.yandex.ua/ , предварительно авторизовавшись. Выбираем в списке добавленных сайтов тот, чей файл Sitemap хотим добавить в Яндекс. В левом меню “Общая информация ” выбираем пункт “Настройка индексирования ” – “Файлы Sitemap “. На открывшейся странице в специальное поле вводим полный путь к карте сайта и нажимаем кнопку “Добавить “.
Теперь карта сайта XML добавлена в поисковик Яндекс и файл Sitemap будет находиться в обработке около двух недель.
Если все сделано правильно, то через время можно будет наблюдать такую картину:
Как видите, я добавил в Яндекс два файла: Sitemap.xml и Sitemap.xml.gz. Второй – это запакованный XML-файл, сгенерированный плагином для WordPress Google XML Sitemaps. Думаю, сжатый файл Sitemap добавлять в Яндекс не обязательно, так как при нажатии на любую из кнопок “Подробнее “, можно увидеть совершенно одинаковую информацию.
Я оставил добавленными оба файла Sitemap, так как индексация блога проходит без проблем, и не вижу смысла что-то менять.
Если потребуется удалить карту сайта, нажмите на крестик напротив названия файла (см. предыдущий рисунок).
Как добавить файл Sitemap в Google
Здесь все делаем аналогично. Авторизуемся в Гугл и входим в Инструменты для вебмастеров по ссылке https://www.google.com/webmasters/tools/ . Выбираем из списка нужный сайт и в левом меню выбираем пункт “Конфигурация сайта ” – “Файлы Sitemap “. Нажимаем кнопку “Добавление/Проверка файла Sitemap “.
Появится всплывающее окно, где вводим адрес карты сайта и нажимаем “Отправить файл Sitemap “. Обратите внимание, что адрес http://сайт/ уже автоматически подставлен и надо дописать только недостающую часть.
Как видим, добавить Sitemap.xml в Google и получить информацию о нем можно быстрее, чем в Яндекс.
Точно также, при необходимости, делается проверка файла Sitemap в Гугл. Только для этого надо будет нажать кнопку “Проверить файл Sitemap ” во всплывающем окне.
Если при добавлении XML-файлов в Google возникли ошибки, удалите файлы из списка (см. рисунок выше) и попробуйте загрузить их вновь.
Добавить Sitemap.xml в Яндекс и Google надо один раз. Теперь при появлении новых статей на блоге поисковики точно не пропустят их при индексации, а сам процесс будет происходить быстрее. Карта сайта автоматически обновляется в панелях вебмастеров Яндекса и Гугла. Поэтому добавлять каждый раз новый файл Sitemap не надо.
Как видите, ничего сложного. Однако многие просто забывают добавить карту сайта XML в поисковики. Напомните им, отправив ссылки на эту статью в социальные сети (кнопочки ниже).
Как понятно из названия, Sitemap (карта сайта) отображает ваш веб-сайт. Это веб-страница, в которой описывается структура вашего сайта, включая разделы и ссылки. Это значительно упрощает навигацию по вашему сайту. И очень важно иметь обновленный Sitemap для поисковых запросов и результатов пользовательского опыта.
