🦟 Обнаружение угроз безопасности в Интернете через API

Сеть полна вредоносных страниц.

К сожалению, они могут существовать и на сайтах ваших клиентов / поставщиков.

Ни один бизнес сегодня не обходится без какой-либо интеграции, которая питает веб-сайт клиента или поставщика или предоставляет входные данные.

Конечно, ваш бизнес не будет существовать без этих услуг, но иногда это представляет угрозу.

Внешние сайты, с которыми вы взаимодействуете, могут содержать вредоносный контент (установленный специально или скомпрометированный третьей стороной), и если этот контент попадает в заранее определенное место, последствия могут быть катастрофическими.

Разве мы не можем сканировать сайты на наличие вредоносных страниц вручную?

Может показаться, что компетентный разработчик должен иметь возможность сканировать страницы на наличие уязвимостей.

К сожалению, это даже не близко к реальности по многим причинам:

• Разработчики не специализируются на обнаружении угроз/ кибербезопасности. Их опыт заключается в создании сложного программного обеспечения путем объединения множества небольших подсистем; другими словами, у них просто нет навыков.
• Даже если бы вы столкнулись с достаточно талантливым разработчиком, задача была бы слишком сложной. Типичная, многофункциональная веб-страница содержит тысячи строк кода – объединение их воедино для проработки общей картины, а также крошечных лазеек – не что иное, как кошмар. С таким же успехом вы можете приказать кому-нибудь съесть целого слона на обед!
• Чтобы сократить время загрузки страницы, веб-сайты часто сжимают и минимизируют свои файлы CSS и JavaScript. Это приводит к такому полному беспорядку кода, что его совершенно невозможно прочитать.

Если это все еще выглядит читабельным, то это потому, что добрые души решили сохранить имена переменных в большом контексте.

Не говоря уже о том, что исходный код близок к 5000 строкам кода. ?

Это только один сценарий, о котором мы говорим.

К веб-странице обычно прикреплено 5-15 скриптов, и вполне вероятно, что вы работаете с 10-20 веб-страницами.

Представьте, что вам нужно делать это каждый день. , , Или хуже, несколько раз в день!

К счастью, с помощью API можно быстро и легко сканировать URL-адреса.

Вы можете сканировать не только веб-страницы, но и файлы, которые предоставляются вам для загрузки.

Давайте рассмотрим некоторые инструменты API, которые помогут вам в этом.

И, так как это API-интерфейсы, усилия вашего разработчика будут гораздо эффективнее, если вы попросите их создать инструмент для сканирования веб-сайтов с использованием этих API-интерфейсов. ?

1 Google Web Risk

Неудивительно, что средство проверки веб-страниц будет производства компании, которая практически владеет Интернетом (я имею в виду все ее веб-страницы).

Но есть одна загвоздка: Google Web Risk все еще находится в бета-версии и доступен только по запросу.

Тем не менее, учитывая, что API довольно прост, ваш разработчик может учесть любые изменения с помощью инструмента мониторинга API и нескольких минут изучения. ?

Использование API также очень просто.

Чтобы проверить одну страницу с помощью командной строки, просто отправьте запрос следующим образом:

curl -H "Content-Type: application/json" "https://webrisk.googleapis.com/v1beta1/uris:search?key=YOUR_API_KEY&threatTypes=MALWARE&uri=http%3A%2F%2Ftestsafebrowsing.appspot.com%2Fs%2Fmalware.html"

Если запрос был успешным, API ответит с типом уязвимости на странице:

{
  "threat": {
    "threatTypes": [
      "MALWARE"
    ],
    "expireTime": "2019-07-17T15:01:23.045123456Z"
  }
}

Как видите, API подтверждает, что страница содержит вредоносные программы.

Обратите внимание, что Google Web Risk API не выполняет диагностику по требованию для URL-адреса или файла по вашему выбору.

Он просматривает черный список, который ведет Google на основе результатов поиска и отчетов, и сообщает, находится ли URL в этом черном списке или нет.

Другими словами, если этот API говорит, что URL является безопасным, можно с уверенностью предположить, что сайт довольно безопасен, но опять же нет никаких гарантий.

2 VirusTotal

 

VirusTotal – это еще один классный сервис, который вы можете использовать для сканирования не только URL-адресов, но и отдельных файлов (в этом смысле я поставил его выше Google Web Risk с точки зрения полезности).

Если вам не терпится попробовать эту услугу, просто зайдите на веб-сайт, и прямо на главной странице есть возможность начать работу.

Мы уже рассматривали этот инструмент в следующих статьях:

• Полное руководство по VirusTotal [2019]
• Как определить, является ли веб-сайт легальным и безопасным для использования
• Это легитимный сайт: как проверить, безопасен ли сайт
• 8 советов для безопасного онлайн-серфинга
• Как сканировать вложения электронной почты онлайн на наличие вирусов

Хотя VirusTotal доступен в качестве бесплатной платформы, созданной и поддерживаемой активным сообществом, он предлагает коммерческую версию своего API.

Вот почему вы возможно захотите оплатить услуги премиум-класса:

• Гибкая частота запросов и дневная квота (в отличие от простых четырех запросов в минуту для публичного API)
• Отправленный ресурс проверяется антивирусом VirusTotal, и возвращается дополнительная диагностическая информация.
• Поведенческая информация о файлах, которые вы отправляете (файлы будут помещаться в разные среды с песочницей для мониторинга подозрительных действий)
• Запрос к базе данных файлов VirusTotal по различным параметрам (поддерживаются сложные запросы)
• Строгое SLA и время отклика (файлы, отправленные в VirusTotal через общедоступный API, помещаются в очередь и занимают значительное время для анализа)

Если вы выберете частный API VirusTotal, это может быть одним из лучших инвестиций, которые вы когда-либо делали в продукт SaaS для вашего предприятия.

3 Scanii

Еще одна рекомендация по API-интерфейсам сканирования безопасности – это Scanii.

Это простой REST API, который может сканировать отправленные документы / файлы на наличие угроз.

Считайте его вирусным сканером по требованию, который можно легко запускать и масштабировать!

Вот вкусности, которые предлагает Scanii:

• Способен обнаруживать вредоносные программы, фишинговые скрипты, спам, контент NSFW (не безопасный для работы) и т. l.
• Он построен на Amazon S3 для простого масштабирования и хранения файлов с нулевым риском.
• Обнаружение оскорбительного, небезопасного или потенциально опасного текста на более чем 23 языках.
• Простой, без излишеств, сфокусированный подход к сканированию файлов на основе API (другими словами, без излишне «полезных» функций)

Действительно хорошо, что Scanii – это мета-движок; то есть он не выполняет сканирование самостоятельно, а использует набор базовых движков для работы.

Это большой актив, так как вам не нужно привязываться к конкретному механизму безопасности, а это значит, что вам не нужно беспокоиться о сломанных изменениях API и еще много чего.

Я считаю Scanii огромным благом для платформ, которые зависят от пользовательского контента.

Другой вариант использования – это сканирование файлов, созданных службой поставщика, которым вы не можете доверять на 100%.

4 Metadefender

Для некоторых организаций сканирование файлов и веб-страниц в одной конечной точке недостаточно.

У них сложный информационный поток, и ни одна из конечных точек не может быть скомпрометирована.

Для таких случаев Metadefender является идеальным решением.

Metadefender предлагает несколько полезных функций:

• Предотвращение потери данных. Проще говоря, это возможность переопределять и защищать конфиденциальную информацию, обнаруженную в содержимом файла. Например, квитанция в формате PDF с видимым номером кредитной карты будет скрыта Metadefender.
• Развертывание локально или в облаке (в зависимости от того, какой вы параноик!).
• Просмотр более 30 типов форматов архивирования (zip, tar, rar и т. д.) И 4500 приемов подмены типов файлов.
• Многоканальное развертывание – защищайте только файлы или пользуйтесь электронной почтой, сетью и контролем входа в систему.
• Настраиваемые рабочие процессы для применения различных типов конвейеров сканирования на основе пользовательских правил.
• Metadefender включает в себя более 30 движков, но хорошо их абстрагирует, поэтому вам никогда не придется думать о них. Если вы предприятие среднего или крупного размера, которое просто не может позволить себе последствия в области безопасности, Metadefender – отличный вариант.

5 Urlscan.io

Если вы в основном имеете дело с веб-страницами и всегда хотели глубже изучить то, что они делают за кулисами, Urlscan.io – отличное оружие в вашем арсенале.

Объем информации, которую выводит Urlscan.io, впечатляет. Среди прочего, вы увидите:

• Общее количество IP-адресов, с которыми связалась страница.
• Список географических регионов и доменов, на которые была отправлена информация.
• Технологии, используемые на фронтеде и бэкенде (претензии на точность не предъявляются, но это пугающе точно!).
• Информация о домене и сертификате SSL
• Подробные HTTP-взаимодействия, а также полезные данные запросов, имена серверов, время отклика и многое другое.
• Скрытые перенаправления и неудачные запросы
• Исходящие ссылки
• Анализ JavaScript (глобальные переменные, используемые в скриптах и т. д.)
• Анализ дерева DOM, содержание форм и многое другое.

Вот как выглядит отчет:

API прост и понятен, он позволяет вам отправлять URL-адрес для сканирования, а также проверять историю сканирования этого URL-адреса (то есть сканирования, выполненного другими).

В целом, Urlscan.io предоставляет обширную информацию для любого заинтересованного бизнеса или человека.

6 SUCURI

SUCURI – широко известная платформа для онлайн-сканирования веб-сайтов на наличие угроз и вредоносных программ.

Что вы, возможно, не знаете, так это то, что они также имеют REST API, что позволяет программно использовать ту же мощь.

Здесь не о чем говорить, за исключением того, что API прост и работает хорошо.

Конечно, Sucuri не ограничивается API-интерфейсом сканирования, поэтому, пока вы работаете с ним, я бы порекомендовал вам проверить некоторые из его мощных функций, таких как сканирование на стороне сервера и сканирует все файлы на наличие угроз!.

Ранее мы рассматривали  SUCURI в следующих статьях:

• ? 7 инструментов для защиты приложения Node.JS от онлайн-угроз
• Топ-3 облачных брандмауэров веб-приложений для предотвращения атак на веб-сайты (для малого и среднего бизнеса)
• Анализ безопасности, производительности и аналитика WordPress топ-1 миллиона сайтов
• Топ 4 Премиум Плагинов и Сервисов WordPress для Безопасности
• 8 сканеров безопасности Drupal для поиска уязвимостей
• WordPress WAF для предотвращения угроз безопасности

7 Quttera

Наш последний пункт в этом списке – Quttera, которая предлагает что-то немного другое.

Вместо того, чтобы сканировать домен и отправленные страницы по требованию, Quttera также может выполнять непрерывный мониторинг, помогая избежать уязвимостей нулевого дня.

REST API является простым и мощным и может возвращать на несколько больше форматов, чем JSON (например, XML и YAML).

Полная многопоточность и параллелизм поддерживаются при сканировании, что позволяет параллельно выполнять несколько исчерпывающих сканирований.

Поскольку служба работает в режиме реального времени, она неоценима для компаний, которые получают критически важные предложения, где простои означают прекращение работы.

Заключение

Средства безопасности, подобные тем, которые описаны в этой статье, являются просто дополнительной линией защиты (или осторожностью, если хотите).

Так же, как и антивирусная программа, они могут многое сделать, но не могут обеспечить отказоустойчивый метод сканирования.

Тем не менее, эти API предоставляют надежную защиту, которая желательна в большинстве случаев – как для внешних веб-сайтов, так и для ваших собственных! ?