VovkDesign

Блог Александры и Владимира Вовк

RSS лента
wp-puzzle

Американские роботы атакуют русские сайты?

Анализируя поведение пользователей на нашем блоге, наткнулся на частое мелькание американских посетителей. Главной особенностью всех посещений является нулевое время проведения на сайте и , в следствии, увеличение числа отказов. Давайте разберёмся, откуда ноги растут и что нам с этим делать.

Роботы атакуют сайт

Сначала просто не обращал на это внимание, пока в один прекрасный день эти американские гости не сделали мне почти 70% отказов, при этом чуть не обрушив сайт во время своего посещения. Это был решающий толчок, чтобы наконец разобраться с недружелюбными посетителями.

Поискав немного в интернете, оказалось, что я не одинок в такой беде. Очень многие ресурсы страдают от таких посещений в последнее время. Главным врагом оказался робот от компании Amazon под названием HubSpot Webcrawler. Решил проверить и я логи нашего сайта во время большого нашествия американского иго. О чудо! Наш сайт стал гостеприимным хозяином для Амазонского бота. Руки бы оторвать разработчикам за сие чудо поискового прогресса.

Всё бы ничего, но Яндекс ведь показывает этого робота как посетителя и учитывает его при составлении общей статистики сайта. А значит, нам нужно как-то бороться с юродивым гостем. Нельзя допускать понижения поведенческих факторов, ведь это в результате приведёт к занижению позиций сайта.

С логов удалось вытащить ряд IP-адресов, с которых шли нулевые посещения. В нашем случае целесообразно будет создать черный список ай-пи адресов, которых мы не желаем видеть у нас в гостях. Сделать это можно, добавив запись в файл .htaccess:

## USER IP BANNING
<Limit GET POST>
order allow,deny
deny from 54.89.43.14
deny from 54.87.87.177
deny from 54.87.225.37
deny from 54.87.163.131
deny from 54.83.86.155
deny from 54.83.74.76
deny from 54.83.139.190
deny from 54.242.89.161
deny from 54.242.5.14
deny from 54.235.29.171
deny from 54.227.84.133
deny from 54.227.158.54
deny from 54.226.254.1
deny from 54.225.31.70
deny from 54.205.188.107
deny from 54.205.18.108
deny from 54.205.112.217
deny from 54.198.86.170
deny from 54.167.4.246
deny from 54.81.84.133
deny from 50.16.2.54
deny from 23.22.145.240
deny from 23.20.131.219
deny from 107.20.19.114
deny from 107.20.108.181
deny from 109.74.1.174
deny from 107.20.202.46
deny from 198.27.82.153
deny from 144.76.95.231
deny from 174.37.205.76
deny from 66.249.81.62
deny from 66.155.8.207
deny from 66.249.66.7
deny from 66.249.93.62
allow from all
</Limit>

В этот список советую занести все IP адреса, с которых заходил бот. Это в дальнейшем предотвратит появление нулевых посещений с данных адресов, уменьшив общий показатель отказов.

PS. Если вы тоже столкнулись с этой проблемой и можете дополнить мой список адресов, пишите в комментариях. Так же подписывайтесь на обновления — лучший способ благодарности для автора статьи 🙂

Комментарии всего: 30

  • У меня одно время зачастил робот с Фэйсбука, он безобидный, но отказы приносил стабильно. Тех поддержка, посоветовала просто добавить его в фильтр Метрики, что бы его посещения не учитывались. В конце написали, не переживайте, ПФ не влияют на выдачу 😉

  • Ага, а когда сайт просядет в поиске, ответят мол улучшайте ваш ресурс и всё будет ХОРОШО 🙂 Давно уже заметил, что в большинстве случаев отказы то связаны с проблемой в ранжировании поисковых систем. Они в своих релевантных выдачах подсовывают в качестве ответа абсолютно бесполезные статьи. Единственный, кто нормально справляется с этой проблемой, это Гугл. В результате такой человек читает статьи, интересуется информацией о других страницах сайта. Трафик с этого поиска всегда был гораздо качественней, чем с Яши, который релевантные запросы засунет в задворки поиска, а по разной бредятине будет показывать твой сайт 🙂

  • Мой сайт тоже в последнее время подвергся посещению подобных роботов: Flamingo_SearchEngine, MJ12bot и Spinn3r:, вследствие чего сайт стал часто недоступен.Вот добавьте в черный список IP :
    109.74.1.174
    107.20.202.46
    198.27.82.153
    144.76.95.231
    174.37.205.76

  • Большое спасибо! Вот это реально помогли. У меня та же ситуация, видел эти посещения, но, в отличии от Вас, не знал, что с ними делать.

  • Вот, нашел в своих логах такие адреса:
    66.249.81.62
    66.155.8.207
    66.249.66.7
    66.249.93.62
    У всех, местонахождение Америка. Конечно искать эти адреса очень неудобно, особенно, если слабо соображаешь в управлении всем этим хостингом 🙂 Странно, почему в яндекс метрике не отображаются ip адреса. Где-то я слышал, что раньше они были.

    • Обновил черный список.
      Раньше в метрике действительно отображались IP-шники посетителей, но потом их убрали. Но есть способ их вернуть 🙂 Напишу отдельную статейку на эту тему, думаю для многих информация будет полезна.

  • Есть способ их вернуть ? Владимир, это было бы здорово! С нетерпением буду ждать Вашу статью.

  • Пора наказывать пиндосов. Не дают нормально жить людям, везде суют свой нос. 🙂

  • Владимир, а на моем сайте постоянно регистрируются новые пользователи (уверена, что абсолютно все — какие-то боты с буржунета). Самое странное — у меня нет на блоге формы для регистрации. Интересно, как они ко мне проникают? Насколько это негативно сказывается на сайт?

    • Зайдите в админку сайта, пункт «Настройки» и уберите галочку возле «любой может зарегистрироваться»
      А боты постоянно шастают по сайтам, ничего страшного в этом нету, если они не накручивают счётчики посещений.

  • Спасибо, Владимир за очень интересную статью и полезную статью!

  • У меня тоже была такая проблема. Внезапно по Яндекс-Метрике увидела, что увеличилось количество отказов почти до 80%… Начала искать проблему и обнаружила вот этих самых американских «друзей»))) У меня на хостинге вопрос решился быстро. Внесла ай-пи адреса «ненужных посетителей» в запрещенные, предварительно вычислив их. И все нормализовалось))) Но в начале понервничать пришлось немножко, пока не поняла, в чем дело))

  • А у меня такие друзья не только из Америки, но из Франции, Италии,Португалии, но я плохо разбираюсь в сайтостроении, даже не знаю где смотреть их IP. Я живу в Крыму и решила, что это действуют так санкции против нас.

  • Тоже была такая проблема. По счастью этот робот представляется в поле user agent, по-этому его можно забанить и без списка IP, вот здесь есть решение, как избавить сайт от многих ботов, в том числе и hubspot’а через .htaccess.
    В общем, если надо только hubspot забанить, то будет такой код:

     ##start blocking potentially unwanted bots. 
      RewriteEngine On
      RewriteCond %{HTTP_USER_AGENT} ^HubSpot
      RewriteRule ^.* - [F,L]  
      ##end code. bai bots.
    • Вот и меня они посетили, эти боты. Стандартно повысили отказы в метрике до 80%. Я уж сперва подумала, что дорогу кому-то перешла и мне решили напакостить. Но потом начала копаться в логах и увидела web-crawlers@hubspot.com. Хорошо, что наткнулась на эту статья. Попробую по вашему совету забанить бота.

  • Спасибо, забанил ip по списку, в разы упала нагрузка на сайте

  • Подскажите где найти файл логов, чтобы вытащить из него IP-адреса с нулевыми посещениями?
    Сайт на Joomla.

    • Валентин, это зависит от вашего хостинга. Во-первых, сохранение логов должно быть включено (часто можно встретить его отключенным, соответствующая опция обычно есть в панели управления). Как вариант быстрого поиска — в каталогах выше корня сайта поиска *.log файлы (через ftp). Еще можно написать в техподдержку — если для сайта не включены логи, то по вашему запросу они смогут предоставить их за нужный период времени.

  • Добрый день! Тоже подвергся атакам робота из ip сети Limited liability company Mail.Ru. Сегодня сделал показ ip в метрике, как вы показывали! к вечеру ждите список адресов! Этот робот мне 86% отказов делает

  • Извините, был в панике! Предыдущий коммент можете удалить! В общем ситуация такая: Каждые 6-7 минут заходит ко мне на сайт робот! Сделал показ айпи как описали вы, показываются все кроме этих роботов! Провайдеры у них MAILRU-NET2, Limited liability company Mail.Ru. В логе домена, на панели хостинга вычислил эти ip адреса:
    deny from 94.100.184.102
    deny from 94.100.184.101
    deny from 94.100.184.100
    deny from 217.69.141.119
    Вот именно с этих адресов идут нулевые посещения! заблокировал, посмотрим что будет дальше!

    • Алексей, в настройках счетчика Яндекса перейдите на вкладку «Фильтры» и в самом низу страницы поставьте галочку напротив «фильтровать роботов по строгим правилам и по поведению» смотреть

  • HubSpot Webcrawler
    54.174.53.97
    54.174.53.127
    54.174.53.119
    54.174.53.127
    54.174.53.180
    54.174.54.109
    54.174.54.240
    54.174.54.255
    54.174.55.108
    54.174.55.205
    54.174.56.26
    54.174.56.70
    54.174.56.119
    54.174.56.133
    54.174.56.234
    54.174.57.3
    54.174.57.7
    54.174.57.19
    54.174.57.68
    54.174.57.144
    54.174.57.210
    54.174.58.30
    54.174.58.75
    54.174.59.82
    54.174.59.87
    54.174.59.127
    54.174.59.131
    54.174.59.138
    54.174.59.181
    54.174.60.18
    54.174.60.21
    54.174.60.81
    54.174.60.113
    54.174.61.34
    54.174.61.68
    54.174.61.172
    54.174.61.184
    54.174.61.234

  • Здравствуйте, простите за может быть глупый вопрос, а где в WP включить показ логов? Папка wp-content/logs/ у меня пуста, или я не там смотрю?

    • Игорь, логи показывает не WP, а хостинг. Ищите в панели хостинга или задайте вопрос в техподдержку

  • Здравствуйте. Подскажите как можно закрыть доступ к сайту из других стран полностью, исключение только роботы Googlе?

  • Еще Боты амазон
    54.174.54.248
    54.174.55.193
    54.174.57.97
    54.174.60.23
    54.174.60.41
    54.174.61.146
    54.174.61.66

Комментировать

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

wp-puzzle.com logo