Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как ошибка 500 может повлиять на индексацию страниц сайта.

В ответ на вопрос одного из вебмастеров, Мюллер перечислил ситуации, при которых код 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google.

Вебмастер рассказал, что CMS на его сайте была настроена таким образом, чтобы блокировать «плохих ботов», позволяя просматривать сайт только реальным пользователям и «законным ботам». Сначала все работало нормально, но после обновления, все настройки слетели