Боты — хорошие, плохие и серые. Чем они промышляют в интернете
Этот материал входит в раздел «Технологии», в котором мы каждую неделю разбираем актуальные технологические тренды и публикуем прогнозы и рекомендации бизнесменов, IT-евангелистов и футурологов. Вы также найдете экспертные материалы о том, как стать продуктивнее, вывести бизнес на новый уровень и улучшить качество жизни с помощью технологий.
Бот (сокращение от «робот») — программа, которая выполняет заранее настроенные алгоритмы. Чаще всего она имитирует поведение живых пользователей. Бот выполняет все операции быстрее человека, ведь ему не нужны перерывы на сон и еду. Именно поэтому его основная сфера применения — выполнение типовых повторяющихся задач. Согласно данным ежегодного отчета об исследовании угроз Bad Bot Report 2023, сегодня на долю ботов приходится почти половина (47,4%) интернет-трафика.
Всех ботов можно разделить на три группы: хорошие, плохие и серые. Разберемся, в чем разница.
Хорошие и серые боты
Хорошие боты несут пользу компаниям, поэтому те редко закрывают для них свои сайты. Серые же боты, или по-другому нейтральные, нельзя с полной определенностью отнести ни к плохим, ни к хорошим. С одной стороны, они не несут вреда, а с другой — пользы. Чаще всего это боты из тех же категорий, что и их «добрые коллеги».
Поясню: один и тот же бот может быть как хорошим, так и нейтральным — все зависит от того, под каким углом на него смотреть и как использовать.
Добрых и серых множество, выделю их основные виды:
— Боты-краулеры — индексируют содержимое страниц сайтов, чтобы сформировать ответы на запросы. Это, пожалуй, самые важные среди хороших ботов: от их работы зависит рэнкинг — позиция сайта в поисковой выдаче. На краулеры Google приходится примерно 30% бот-трафика большинства индексируемых в поиске сайтов. Есть краулеры и других поисковых движков, таких как, например, «Яндекс» и Safari.