В этом месяце Googlebot начал поддерживать сканирование сайтов через протокол HTTP/2. Об этом говорится в англоязычной версии руководства по Googlebot на сайте Google Search Central.
Документ был обновлён 12 ноября.
«Обычно Googlebot сканирует через HTTP/1.1. Однако с ноября 2020 года он может сканировать сайты через HTTP/2, если этот протокол поддерживается на сайте», — говорится в руководстве.
Google допускает использование разного контента для пользователей и для поисковых роботов и не всегда расценивает такие ситуации как клоакинг. Об этом заявил сотрудник поиска Мартин Сплитт во время очередной видеовстречи на тему JavaScript SEO.
Вопрос к Сплитту звучал так:
«Можете ли вы рассказать подробнее, что считается клоакингом, а что нет? Где проходит “серая линия”?».
На сегодняшний день медианное время между сканированием и окончанием рендеринга страницы поисковым роботом Googlebot составляет 5 секунд. Об этом заявил сотрудник поиска Мартин Сплитт на Chrome Dev Summit 2019.
При этом даже 90-й процентиль делается «за считанные минуты». Ранее (ещё год назад) задержка могла составлять около недели.
Сотрудник Google Илья Григорик поделился этой информацией в Twitter, добавив, что «Googlebot любит JS».
Около трёх месяцев назад, в мае, Google выпустил нового Googlebot, который теперь всегда будет использовать последнюю версию Chrome. При этом в июне стало известно, что инструменты тестирования Google – проверка AMP-страниц, расширенных результатов и оптимизации для мобильных устройств – пока не поддерживают новую версию краулера.
На днях сотрудник поиска Мартин Сплит прояснил, что работа в этом направлении всё ещё продолжается.
На днях выяснилось, что запуск нового Googlebot, который теперь всегда будет работать на базе последней версии Chromium, был начат ещё несколько месяцев назад.
В ноябре новый краулер индексировал 10% интернета, а на прошлой неделе этот показатель был доведён до 100%. Об этом рассказал сотрудник Google Мартин Сплит во время последней видеовстречи для вебмастеров.
Специалисты DeepCrawl заметили, что Google тестирует новый, более современный движок рендеринга для Googlebot, работающий на базе Chrome 69 и выше.
Сотрудник Google Мартин Сплит (Martin Splitt) опосредованно подтвердил тестирование:
«Отличный пост! Мы всё время что-то тестируем и иногда эти эксперименты становятся видимыми :)».
