Бот-трафик в 2016. Отчёт Incapsula.

Отчёт о бот-трафике за 2016 год.

Ежегодный отчёт о бот-трафике, предоставленный Incapsula Bot Imperva, уже пять лет является продолжением статистического исследования изменений бот-трафика. Для нашего последнего отчета мы исследовали 16.7 + миллиардов посещений 100,000 выбранных в произвольном порядке доменов в сети Incapsula, чтобы ответить на следующие вопросы:

  •        Сколько трафика сайта было сгенерировано ботами?
  •        Как «плохие боты» используются в кибератаках?
  •        Что направляет «хороший бот» на посещение веб-сайтов и служб?
  •        Какие «хорошие» и «плохие боты» являются самыми активными?

Перевод статьи Igal Zeifman, маркетинг-директора Incapsula Bot Traffic Report 2016, Елизавета Золотухина, Студия PRoK Analytics.

Большинство посетителей веб-сайта — боты

В 2015 мы отметили уменьшение активности ботов в нашей сети – впервые за годы ниже 50-процентной отметки. В 2016 мы засвидетельствовали изменение той тенденции – бот-трафик увеличился до 51.8 процента — незначительно выше результатов 2012 года.

Это изменение было приписано увеличению активности «хороших ботов». В 2016 мы отследили 504 уникальных «хороших бота», 278 из которых были достаточно активны, чтобы генерировать по крайней мере 1,000 ежедневных посещений нашей сети. Из них 57.2 процента показали увеличение активности как результат, в то время как активность только 29.4 процентов уменьшается год за годом.

Это привело бы к большему скачку, но большинство (66.7 процентов) изменений было в -0.01 процентах к диапазону на 0.01 процента. Последнее демонстрирует предсказуемость бот-трафика, учитывая различную среду сравненных ботов.

Это также последовательно отражалось на количестве «плохих ботов» — в течение 5 прошлых лет их активность продолжает колебаться возле 30-процентной отметки.

Здесь нужно отметить, что относительное количество посещений «плохих ботов» (и посещений ботами сети в целом) повышается при условии наличия малого количества трафика. Например, на доменах с минимальным трафиком – 10 или меньше посетителей в день – количество «плохих ботов» составляет 47.7 процентов, в то время как общее количество бот-трафика на домене составляет 93.3 процента.

Эти непропорционально высокие числа — результат массовой активности «хороших» и «плохих ботов», описанной в наших предыдущих отчетах. Проще говоря, «хорошие боты» проверят Ваш веб-сайт, а «плохие боты» попытаются взломать его независимо от того, насколько сайт популярен. Боты продолжат посещать Ваш домен даже в отсутствие трафика.

Имитатор: учебник «плохого бота»

В течение пяти лет подряд, боты-имитаторы продолжают быть самыми «активными преступниками» в категории «плохих ботов». В 2016 они являлись 24.3 процентами всего трафика нашей сети и были ответственными за 84 процента всех атак «плохих ботов» против защищённых доменов Incapsula.

Данное последовательное доминирующее положение — результат следующих двух факторов:

1)    Имитация проста в выполнении и стоит того.

Имитаторы – атакующие боты, маскирующие себя под настоящих посетителей, чтобы перехитрить решения по обеспечению безопасности. Очевидно, что подобная возможность делает имитаторов «предпочтительным оружием» для большинства автоматизированных атак. Тем более, потому что относительно просто достигнуть элементарного уровня обфускации (запутывание кода).

Таким образом, более примитивные имитаторы — просто боты, которые скрываются под поддельными «пользовательскими агентами» — заголовок HTTP/S, который требует идентификации пользователя в приложении. Изменяя контент заголовка, атакующие боты маскируются под «хороших ботов» или людей, надеясь, что этого было бы достаточно, чтобы получить доступ.

Более усовершенствованные «преступники» делают шаг вперед, полностью изменяя подписи HTTP/S, чтобы подражать работе браузера — включая возможность получить cookie и проанализировать JavaScript. Во многих случаях они делают оба момента одновременно.

2)    Имитаторы – отличное оружие для атак DDoS

Иммитаторские методы обфускации – замечательное совершенное пригодное средство для достижения цели преступников DDoS — перенагрузка сервера высоким количеством, казалось бы, настоящих запросов. Например: просьба обновить домашнюю страницу 50,000 раз в секунду.

Но в этом случае другая причина усиленной активности имитаторов. В том случае, где одного посещения ботом оказалось бы достаточно для успешной атаки, исполнитель DDoS должен отослать тысячи «плохих ботов», чтобы привести цель в нерабочее состояние.

Самые активные «плохие боты» — имитаторы, используемые для атак DDoS. Один из них — вредоносное программное обеспечение Nitol, наиболее распространенный «плохой бот», ответственный за 0.12 процента всего трафика сайта. В 2016 большинство нападений Nitol было запущено через просмотр имитаторов; при этом использовались более старые версии Internet Explorer.

Cyclone, второй наиболее распространенный «плохой бот», часто использовался, чтобы подражать поисковым ботам поисковых систем — преимущественно, «хорошим ботам» Google и Baidu.

Другой пример — вредоносное программное обеспечение Mirai, которое недавно использовалось, чтобы стартовать одну из самых разрушительных атак DDoS настоящего времени. Будучи в использовании во время атак HTTP, Mirai также использует тактику имитирования, подменяя такие браузеры, как Safari или Chrome.

Необходимо упомянуть, что идентификационные данные, используемые ботами-имитаторами, очень изменчивы. Рассматривая этот вопрос при  сборе данных для этого отчета, мы записывали имитаторов Nitol, использующих более чем 14,000 различных вариантов пользовательских агентов и 17 различных идентификаторов.

Feed Fetcher: «хорошие боты» становятся мобильными.

Есть многочисленные пути, которыми «хорошие боты» поддерживают различные деловые и операционные цели своих владельцев — от индивидуальных пользователей до крупных транснациональных корпораций.

Они могут быть распределены по четырём категориям:

  •        Feed Fetcher – боты, которые перенаправляют контент веб-сайта на мобильные и веб-приложения, который потом и демонстрируется пользователям.
  •        Боты информационно-поисковой системы – боты, которые собирают информацию для алгоритмов поисковой системы, которая используется позже для принятия важных решений.
  •        Коммерческие поисковые боты – «пауки», используемые для санкционированной экстракции данных, обычно в интересах инструментов диджитал-маркетинга.
  •        Боты для мониторинга – боты, мониторящие Роботы, которые контролируют доступность веб-сайта и надлежащее функционирование различных онлайновых функций.

Из этих четырех групп боты информационно-поисковых систем, вероятно, более известны обыкновенному интернет-пользователю. Однако они не так активны как feed fetcher-ы, так как составляют, по последним данным, 12.2 процента всего трафика 2016 года.

Самый активный feed fetcher — и самый активный бот в целом — объединённый с мобильным приложением Facebook. Он ведет отбор информации о веб-сайте, и таким образом она может быть просмотрена в браузере в приложении. В целом это составило 4.4 процента всего трафика сайта в сети Incapsula. Это отражает темп роста базы мобильных пользователей Facebook, которая, по имеющимся сведениям, ежегодно возрастает на 19 процентов и достигла цифры в 1.6 миллиард активных ежемесячных пользователей в 3 квартале 2016.

Платформа Android, второй самый активный feed fetcher, также объединена с мобильным использованием, будучи агентом Dalvik и Android Runtime processes. Та же картина с ботом CFNetwork, третьим по популярности feed fetcher ботом, используемым в мобильных приложениях iPhone.

В целом, боты объединены с мобильными приложениями и учётными записями службы на более чем 69 процентов всего трафика feed fetcher, иллюстрируя эффект мобильной революции в среде трафика бота.

94.2 процента веб-сайтов были атакованы ботами.

Наиболее настораживающая статистика в этом отчёте – также и самая устойчивая наблюдаемая тенденция: в течение прошлых пяти лет каждый третий посетитель веб-сайта являлся атакующим ботом.

Многие владельцы диджитал-бизнеса, большинство из которых на регулярной основе атакованы ботами, чувствуют последствия этой тенденции.  В частности, 94.2 процента из 100,000 доменов были атакованы ботом по крайней мере один раз за 90-дневный период.

Чаще всего, эти нападения являются результатом целой сети автоматизированных атак, целью которых являются тысячи доменов за раз.

В то время как беспорядочные атаки не так опасны как атаки, имеющие цель, у них все еще есть потенциал, чтобы поставить под угрозу многочисленные незащищенные веб-сайты. Как ни странно, владельцы этих веб-сайтов склонны больше всего игнорировать опасность ботов, ошибочно считая, что их веб-сайт “слишком маленький”, чтобы подвергнуться нападению.

Именно эта «психология страуса» помогает бот-атакам одерживать победы, мотивируя киберпреступников продолжать запускать большие и более тщательно продуманные автоматизированные нападения.

Методологию исследования для данного отчёта Вы можете найти здесь.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *