Очередь на индексирование яндекс. Как запросить повторное сканирование страниц. В каких случаях нужен файл Sitemap

Яндекс Вебмастер позволяет:

• добавить Sitemap;
• обновить;
• удалить;
• анализировать.

Как добавить Sitemap в Яндекс Вебмастер

Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера — webmaster.yandex.ru. Далее:

1. В разделе «Индексирование» вы найдете пункт «Файлы Sitemap».
2. Добавьте полный адрес файлы Sitemap, например, https://сайт/sitemap.xml.
3. Нажмите «Добавить».
4. Ждите, пока Яндекс Вебмастер проверит файл.

После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:

Обновить Sitemap

Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.

Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

Удалить Sitemap из Вебмастера

В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap» :

Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.

Поддерживаемые Яндекс Вебмастером форматы

Яндекс принимает Sitemap в форматах:

XML-формат Sitemap

Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.

Яндекс поддерживает протокол Sitemap . Используйте этот формат, если хотите сообщить о:

• дате последнего обновления страницы (элемент lastmod);
• частоте изменения страницы (элемент changefreq);
• значимости страницы (элемент priority) - робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта.

https://сайт/ssylki-v-yandex-webmaster/ 2018-06-06 monthly 0.8 ...

TXT-формат Sitemap

В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂

Используйте этот формат, чтобы сообщить только об адресах страниц.

Https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/

Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

• большое количество страниц;
• отдельные страницы без навигационных ссылок;
• глубокая вложенность.

Как создать файл

Добавить Sitemap.xml в Яндекс Вебмастер — видео

• Сканирование может занять как несколько дней, так и несколько недель. О его ходе можно узнавать с помощью специального отчета или инструмента проверки URL .
• Сроки обработки запросов, поданных любым из перечисленных способов, практически одинаковы.
• Для запросов сканирования отдельных URL существуют квоты.
• Если запросить повторное сканирование одного и того же URL или файла Sitemap много раз, оно не будет выполнено быстрее.

Как запросить сканирование страниц

Чтобы запросить сканирование URL, выполните следующие действия:

1. Проверьте URL с помощью этого инструмента .
2. Выберите Запросить индексирование . Инструмент проверит страницу на наличие проблем с индексированием. Если таковые не обнаружатся, страница будет добавлена в очередь на индексирование. Если инструмент выявит проблемы, постарайтесь их решить.

Существует несколько способов запросить сканирование файла Sitemap:

• Воспользоваться специальным отчетом .
• Выполнить запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен:
  http://www.google.com/ping?sitemap=
  Пример
  http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
• Вставить в любом месте файла robots.txt строку , указывающую на местоположение файла Sitemap (она будет обнаружена при следующем сканировании). Пример:
  Sitemap: http://example.com/my_sitemap.xml

В этой инструкции мы рассмотрим вопрос добавления нашего нового сайта на индексацию к различным поисковым системам.

Я решил упомянуть как популярные поисковики, так и те, про которые вы возможно и не слышали.

Индексация сайта в Яндексе

Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.

1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.
2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.
3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе .

Индексация сайта в Google (Гугле)

Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url .

Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.

Индексация сайта в Рамблере (Rambler.ru)

Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi

Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.

Индексация сайта в Mail.ru (Майл)

Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl

Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.

Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.

Поисковая система Aport.ru (Апорт)

Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.

Поисковая система Nigma.ru (Нигма)

Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.

Медиа навигатор Tagoo.ru

Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.

Поисковая система Turtle.ru (Черепаха)

Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html . Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.

Зарубежные поисковые системы

Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.

Поисковая система Yahoo.com (Яху)

Поисковая система Bing.com (Бинг)

Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url .

Украинские поисковые системы

И в заключении моего обзора приведу две популярных поисковых системы на Украине.

Украинская поисковая система Meta.ua (Мета)

Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта - sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

• Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

  Для индексирования важен размер документа - документы больше 10Мб не индексируются.

  Индексирование flash:

  1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

     если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле .

В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

Допустимо использование тегов и , робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

Добавление сайта на индексацию в Rambler.

"С 23 июня 2011 года «Рамблер-Поиск» использует поисковые технологии компании «Яндекс», дополняемые собственными сервисами. Добавить сайт в индекс поисковика можно через систему Яндекса ".

Не забудьте добавить свой сайт в Топ100.Rambler , лишним не будет.

Добавление сайта на индексацию в Mail.ru.

Добавить сайт очень просто, отправляете URL и ждете, не забудьте подать БЕСПЛАТНО заявку на попадания в каталог Mail.ru , если одобрят, это будет хорошо. Не закрывая страницу добавления сайта в поиск переходите по ссылке на добавление в каталог Mail.ru и заполняете форму (в этом случае появится возможность подать бесплатно заявку в каталог).

Добавление сайта на индексацию в каталог Aport.ru.

Для добавления сайта придется пройти 5 несложных шага. На первом добавить URL сайта. На первом этапе проверяется на ответ сайта и на наличии сайта в каталоге, если его нет, то появится второй шаг. На втором шаге заполняете данные о сайте, название, описание, ключевики и т.д. На третьем шаге выбираете раздел (разделы напомнили как в каталоге Майл.ру). Четвертый шаг добавляем регион сайта (тоже чем то напомнил Майл.ру). Пятый шаг, вводите капчу(заглавные учитываются) и проверяете введенные данные, если все правильно, жмем далее. Вас добавили, ждем модерации на почтовый ящик.

Добавление сайта на индексацию в GOGO.ru.

Насчет значимости данного ресурса и нахождение в нем я не могу сказать, но могу сказать одно, не помешает, а вдруг и с него зайдут (в практике такого не было, но все меняется). Что бы добавить в интернете есть ссылка http://gogo.ru/wmaster/add_site.html перейдя по ней, я понял что это уже поисковик Mail.ru, (ссылку оставил, на всякий случай).

Добавление сайта на индексацию в NIGMA.ru.

Следующая система nigma.ru. По ней пишут что она дает приток народу, я не заметил, но добавил , может будет толк. Тем более это быстро. Указываете URL, почтовый ящик и периодичность обновления, сохранить и все.

Добавление сайта на индексацию в TAGOO.

Поисковая система тагоо как видно специализируется медийном контенте, если у вас он есть или может быть появится, добавляем . На значимость данного поисковика не берусь судить, не знаю его, но добавил.

Добавление сайта на индексацию Turtle (Черепаха).

Система ориентирована на ресурсы Стран Содружества Независимых Государств СНГ на любом языке, а также русскоязычные ресурсы других стран. Добавить можно . Но в связи со смертью его основателя Дмитрия Крюкова, ресурс временно приостановил свою деятельность. Как написано на сайте ВРЕМЕННО, значит не убираем его со счетов.

Вот мы и дошли до зарубежных поисковых систем.

Добавление сайта на индексацию Yahoo (Яху) и Bing (Бинг).

Яху объеденила свою поисковую систему с Bing и перебрасывает на Bing старый URL для добавления был http://search.yahoo.com/info/submit.html. Добавляем в Bing . Добавляем и радуемся, можем также зарегистрироваться и получить панель вебмастера, я там не регистрировался, но это не показатель. Для наглядности попробуйте.