Факторы, определяющие сканирование сайта GoogleBotом

В начале октября этого года прошла конференция SMX East 2014. На ней выступил с докладом представитель компании Google Гэри Ишл. Он рассказал про технические особенности, определяющие сканирование. Гугл может замедлиться или даже приостановить этот процесс.

Особенностями являются: время для соединения с ресурсом и коды НТТР.

Гугл следит за продолжительностью установки соединения с сайтом или интернет-страницей. При увеличении времени соединения, робот замедляется или прекращает просмотр сайта. Google рассматривает продолжительность соединения как определяющий момент сканирования. Все это делается для предотвращения остановки сервера.

Google уменьшит скорость или прекратит сканирование, если получит коды состояния сервера. Они предназначены на случай невыполнения операции из-за сервера. Все коды можно увидеть в Википедии. Как отметил Гэри, что когда Гугл замечает эти коды, то он отступает, чтобы не навредить работе сервера.

В любом случае, через время GoogleBot снова повторит сканирование этого ресурса и снова остановится, если опять же столкнется с указанными выше сигналами. Это делается для того, чтобы не создавать неудобства пользователям, которые пытаются зайти на интернет-ресурс.