Google рассказал, как 500 ошибка влияет на индексацию страниц сайта

Google рассказал, как 500 ошибка влияет на индексацию страниц сайта

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как ошибка 500 может повлиять на индексацию страниц сайта.

В ответ на вопрос одного из вебмастеров, Мюллер перечислил ситуации, при которых код 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google.

Вебмастер рассказал, что CMS на его сайте была настроена таким образом, чтобы блокировать «плохих ботов», позволяя просматривать сайт только реальным пользователям и «законным ботам». Сначала все работало нормально, но после обновления, все настройки слетели. А еще через некоторое время специалисты заметили, что в Search Console появились уведомления об ошибке 500 в ответ на обход Googlebot. Вебмастер спросил у Мюллера, насколько это критично и не грозит ли страницам последующим выпадением из индекса.

На это Джон Мюллер ответил, что никаких никаких строгих пороговых значений по этому вопросу у Google нет. Проверка страниц, отдающих 500 ошибку, повторяется неоднократно. В том случае, если это продолжается довольно долго, индексация замедляется и проводится реже. Если и далее демонстрируется код 500, то такие URL-адреса удаляются из индекса.

«Так что если время от времени на отдельных страницах появляется 500 ошибка, это не имеет большого значения. Мы повторим проверку таких страниц, они останутся проиндексированными, и после следующей проверки все будет в порядке».

Мюллер также пояснил, что одна из причин, почему Google замедляет сканирование, связана с тем, что Googlebot сам вызывает перегрузку сервера. При этом у поисковика нет жестких пороговых значений, при которых Google решает, что сделано много запросов, получено много ошибок, а значит, пора удалять такую страницу из индекса.

Похожие статьи:

Читайте также