Здравствуйте. С вами руководитель веб-студии “ИВЦ 8 бит” Вадим Твердохлеб. И сегодня я расскажу, как вручную добавить и заставить проиндексировать сайт в поиске.

Что такое индексация и как она работает?

Индексация сайта —  это добавление его страниц в индекс поисковой системы. В результатах поиска отображаются только проиндексированные страницы. Этот принцип применяется в Яндекс, Google и других поисковиках.

Как составляется индекс:

Поисковый робот получает маршрут с адресами страниц, которые нужно проиндексировать. В этот список попадают

• адреса, добавленные через панели веб-разработчика;
• документы, на которые ссылаются внешние ресурсы;
• URL, на которые есть ссылки с уже проиндексированных страниц сайта;
• страницы, у которых наступил срок переобхода;
• страницы, которые находит робот при обходе всего Интернета и другие страницы, выбранные поисковым алгоритмом.

Как поднять сайт в поиске:

1) Добавить ссылки с главной страницы на новые или важные страницы сайта.

Например, для новостного портала это может быть блок «Последние публикации», для интернет-магазина – «Новинки»: Ссылки с главной укажут путь роботу. После того, как страницы попадут в индекс, в блок выводятся другие документы.

2) Разместить внешние ссылки на авторитетных, быстро индексируемых ресурсах.

Для быстрой индексации активно обновляющихся сайтов с высокой трастовостью используются быстроботы. Они следят за обновлениями в тех разделах, где высокая активность, и добавляют их в индекс в течение нескольких минут после релиза. Ссылка от такого донора ускорит индексацию. Но только в том случае, если будет идти с раздела, который попадает в зону действия быстробота.

3) Регулярно размещать контент.

Чем чаще публикуется контент, тем быстрее индексируется сайт.

4) Указать скорость обхода в настройках Яндекс.Вебмастера.

Скорость обхода – количество запросов к серверу в секунду от поискового робота. Это альтернатива инструкции Crawl-delay в robots.txt. Бывает, что разработчики при указании скорости ориентируются не на фактические возможности сервера, а на значения, подсмотренные у других разработчиков. В результате скорость обхода сильно снижается, краулинговый бюджет тратится на простой, скорость индексации падает. Инструмент автоматически рассчитывает оптимальную скорость, но значения можно изменить вручную

5) Подключить обход по счетчикам Яндекс.Метрики.

При интеграции Метрики и Вебмастера можно передавать код страницы с установленным счетчиком на индексацию автоматически.

По каким причинам сайт может пропасть из поиска?

• Допущены ошибки в технической части.
• Обнаружен неоригинальный контент.
• Наложены санкции поисковых систем.
• Есть проблемы с доступностью сервера.

В панели вебмастера вы можете узнать о возможных причинах.

Как подключить сайт к Яндекс.Вебмастеру и как установить счетчик Яндекс.Метрики — еще несколько полезных веб-мастеру статей.

Всем этим премудростям мы учим в нашей онлайн-школе «БИТ: Бизнес.Интернет.Технологии»

С уважением, Вадим Твердохлеб