🌐 Как заблокировать ботов с помощью Cloudflare Firewall |

🌐 Как заблокировать ботов с помощью Cloudflare Firewall

Мануал

Получаете много запросов от сканеров и ботов, что не повышает ценность вашего бизнеса?

Тысячи сканеров / ботов посещают ваш сайт каждый день, и очень немногие полезны.

Некоторые из них считаются плохими ботами или спамом.

Откуда узнать, что боты посещают ваши сайты?

На это нет простого ответа.

Чтобы выяснить это, вам нужно просмотреть файл access.log вашего веб-сервера и найти столбец User-Agent.

Допустим, вы хотите перечислить всех ботов, кроме робота Google, для этого вы можете выполнить следующую команду на своем веб-сервере, где находится файл access.log.

grep bot access.log |grep -v Googlebot

Вы удивлены, увидев так много записей?

Я тоже, когда я проверил свои журналы.

root@gf-prod:nginx# grep bot access.log |grep -v Googlebot | wc -l
616834
root@gf-prod:nginx#

Прежде чем что-то блокировать, вам необходимо просмотреть их, чтобы убедиться, что вы не блокируете то, что может потребоваться для вашего бизнеса.

И есть много способов сделать это.

Причина проста – зачем позволять запросам попадать на веб-сервер, когда они вам вообще не нужны.

Как указано в заголовке статьи, давайте узнаем, как блокировать ненужных ботов с помощью брандмауэра Cloudflare.

Примечание: если вы управляете крупным бизнесом, вас может заинтересовать служба управления ботами Cloudflare.

  • Войти в Cloudflare
  • Перейдите на вкладку Firewall, а затем firewall rules и создайте правило брандмауэра.

  • Введите название правила
  • Выберите поле как User Agent, оператор contains и Value в качестве имени бота, которого вы хотите заблокировать
  • Используйте условие or для добавления нескольких ботов в одно правило.

 

Примечание: боты, упомянутые на изображении выше, только для иллюстрации. Совсем не обязательно, что это плохие боты.

  • а затем выберите действие как Block
  • Если вы знаете выражение, то вы также можете написать его, щелкнув по редактированию вместо того, чтобы делать это через GUI. После развертывания вы должны увидеть вновь созданное правило в списке, и статус должен быть On.

Легко, не правда ли?

Что еще можно сделать с правилами брандмауэра?

Ну, намного больше для улучшения безопасности.

Давайте посмотрим на следующие условия блокировки.

  • Если запрос приходит от определенного ASN, IP-адрес
  • Соответствующие cookie, рефереры, ключевые слова X-Forwarded-for
  • Ограничить обслуживание запросов всей страны
  • Отключить нежелательный метод HTTP, такой как PUT, DELETE, OPTIONS, PURGE и т. д.

И так далее.

Все это вы можете сделать либо через GUI или написать свое выражение.

Применение изменений происходит практически мгновенно.

Заключение

Правила межсетевого экрана Cloudflare – отличный способ добавить защиту для ваших веб-приложений на границе сети без простоев.

Если это еще не так, вы также можете рассмотреть возможность использования Cloud WAF для повышения безопасности приложений и защиты от DDoS и других онлайн-уязвимостей.

 

 

Пожалуйста, не спамьте и никого не оскорбляйте. Это поле для комментариев, а не спамбокс. Рекламные ссылки не индексируются!
Добавить комментарий для cryptoparty Отменить ответ

  1. Виктор

    Вопрос такой, как мне наоборот разрешить вход Google ‘ Bota, если я заблокировал все ip из страны United Stated как сделать исключение правилом для Google BOT? Так как меня DDOS-сят.

    Ответить
    1. cryptoparty автор

      По боту Google официальные сведения доступны по адресу http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=1061943.

      Ответить
  2. Виктор

    Да я это уже нашел. Но Вы мне не подскажите как мне создать правило конкретно под cloudflare?
    Дело в том что я не совсем понимаю в значениях firewall и смог только настроить блокировку по определенным странам. Дальше у меня не выходит разобраться чтобы не блокировались поисковые роботы из стран которые я заблокировал. Как сделать исключение.

    Ответить
    1. cryptoparty автор
      Ответить
      1. Виктор

        Честно говоря не знаю как Вас зовут. Но я с радостью пожал бы вам руку в знак уважения. Не много встретишь таких людей которые отвечают почти сразу же, а самое главное по теме. За последние несколько лет ответ из блогов мне вообще не приходил потому что их все забросили.

        Ответить
        1. cryptoparty автор

          Приятно слышать, надеюсь вы найдете решение 🙂

          Ответить
  3. Виктор

    Видно что у вас ресурс занимается делом а не штаны просиживают как на многих других сайтах. Спасибо вам еще раз) Если прошлый комментарий не дошел, то я вам выразил благодарностей пачку целую!!

    Ответить
  4. Александр

    А есть где-нибудь список ботов, которых точно нужно блокировать в cloudflare? Очень бы приголидся)

    Ответить
    1. cryptoparty автор

      можно заблокировать все, за исключением “хороших”

      Ответить
    2. Роман

      Здесь есть список, но все равно нужно мониторить. Кстати, в статье очень подробно всё описано и разжевано.

      Ответить
    3. Роман

      Забыл ссылку дать: https://zahek.livejournal.com/455.html

      Ответить
  5. БлагоЯр Тишина

    БлагоДарю!

    Ответить