Google открыл исходный код своего парсера для robots.txt

Google открыл исходный код своего парсера для robots.txt

В рамках инициативы по переводу Robots Exсlusion Protocol (REP) в разряд официальных стандартов Google открыл исходный код своего парсера для robots.txt.

В частности, речь идёт о C++ библиотеке, которую системы Google используют для парсинга и сопоставления правил в файлах robots.txt.

Эта библиотека существует уже около 20 лет и содержит фрагменты кода, которые были написаны ещё в 90-х. С тех пор библиотека претерпела изменения: Google узнал больше о том, как вебмастера заполняют файлы robots.txt, и о краевых случаях, которые тоже нужно охватить.

Все эти изменения были добавлены в проект спецификации REP, поданный в IETF.

Google также добавил в пакет с открытым исходным кодом инструмент тестирования, чтобы разработчики могли протестировать несколько правил.

Ознакомиться с библиотекой можно в репозитории для парсера robots.txt на GitHub. Своими впечатлениями вебмастера смогут поделиться там же.

Похожие статьи:

Новости партнеров