🖧 Установка инструмента полного захвата пакетов Arkime (Moloch) на Ubuntu

Arkime, ранее называвшаяся «Moloch», «является крупномасштабной системой захвата и поиска индексированных пакетов с открытым кодом.

Согласно странице репозитория Github, некоторые функции инструмента Arkime включают:

• Он хранит и индексирует сетевой трафик в стандартном формате PCAP, обеспечивая быстрый индексированный доступ.
• Предоставляет интуитивно понятный веб-интерфейс для просмотра, поиска и экспорта PCAP.
• Предоставляет API, которые позволяют напрямую загружать и использовать данные PCAP и данные сеанса в формате JSON.
• Сохраняет и экспортирует все пакеты в стандартном формате PCAP, что позволяет вам также использовать ваши любимые инструменты анализа PCAP, такие как wirehark, во время рабочего процесса анализа.

Установка инструмент полного захвата пакетов Arkime (Moloch) на Ubuntu

Вы можете установить инструмент Arkime (Moloch) либо используя предварительно созданные бинарники, либо просто собрать его самостоятельно из исходного кода.

Установка Arkime с использованием предварительно созданного бинарника на Ubuntu

Скачать бинарный установщик Arkime

Чтобы установить Arkime с помощью предварительно созданного пакета на Ubuntu, перейдите на страницу скачивания и скачайте установщик для вашей версии Ubuntu:

https://arkime.com/downloads

Вы также можете взять ссылку и скачать его с помощью команды curl или wget.

Например, приведенная ниже команда загружает текущую стабильную версию двоичного установщика Arkime для Ubuntu 20.04;

wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-20.04/moloch_2.7.1-1_amd64.deb

Запустим обновление системы

Обновите кеш пакетов:

apt update

Установим инструмент Arkime (Moloch) на Ubuntu

Затем установите инструмент Arkime (Moloch) на Ubuntu с помощью загруженного пакета.

apt install ./moloch_2.7.1-1_amd64.deb

Если хотите, вы также можете собрать Arkime, сбилдив его из исходников:

• git clone https://github.com/arkime/arkime
• ./easybutton-build.sh --install
• make config

Установим Elasticsearch на Ubuntu

Arkime использует Elasticsearch в качестве механизма поиска и индексирования.

Поэтому установите Elasticsearch, выполнив команды, показанные далее.

Импорт ключа подписи репозитория PGP Elastic stack

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch --no-check-certificate | sudo apt-key add -

Добавим репозиторий Elasticsearch:

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

apt update

apt install elasticsearch

vim /etc/elasticsearch/jvm.options

...
################################################################

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space

-Xms512m
-Xmx512m
...

/data/moloch/bin/Configure

Found interfaces: lo;enp0s3;enp0s8
Semicolon ';' seperated list of interfaces to monitor [eth1] enp0s8

Install Elasticsearch server locally for demo, must have at least 3G of memory, NOT recommended for production use (yes or no) [no] no

Elasticsearch server URL [http://localhost:9200] ENTER

Password to encrypt S2S and other things [no-default] changeme

...
Moloch - Creating configuration files
Installing systemd start files, use systemctl
Moloch - Installing /etc/logrotate.d/moloch to rotate files after 7 days
Moloch - Installing /etc/security/limits.d/99-moloch.conf to make core and memlock unlimited
Download GEO files? (yes or no) [yes] yes
Moloch - Downloading GEO files
...

systemctl enable --now elasticsearch

curl http://localhost:9200

{
  "name" : "ubuntu20",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "bc-twCeeSsSmgjYT6HlkXA",
  "version" : {
    "number" : "7.11.1",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "ff17057114c2199c9c1bbecc727003a907c0db7a",
    "build_date" : "2021-02-15T13:44:09.394032Z",
    "build_snapshot" : false,
    "lucene_version" : "8.7.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

/data/moloch/db/db.pl http://localhost:9200 init

/data/moloch/bin/moloch_add_user.sh --help

addUser.js [<config options>] <user id> <user friendly name> <password> [<options>]

Options:
  --admin               Has admin privileges
  --apionly             Can only use api, not web pages
  --email               Can do email searches
  --expression  <expr>  Forced user expression
  --remove              Can remove data (scrub, delete tags)
  --webauth             Can auth using the web auth header or password
  --webauthonly         Can auth using the web auth header only, password ignored
  --packetSearch        Can create a packet search job (hunt)

Config Options:
  -c <config file>      Config file to use
  -n <node name>        Node name section to use in config file
  --insecure            Allow insecure HTTPS

/data/moloch/bin/moloch_add_user.sh admin "Moloch SuperAdmin" changeme --admin

Теперь запустите и включите сервисы Moloch Capture и Viewer для запуска при загрузке системы;

systemctl enable --now molochcapture

systemctl enable --now molochviewer

systemctl status molochcapture

● molochcapture.service - Moloch Capture
     Loaded: loaded (/etc/systemd/system/molochcapture.service; enabled; vendor preset: enabled)
     Active: active (running) since Tue 2021-02-23 18:57:16 UTC; 1min 23s ago
   Main PID: 4002 (sh)
      Tasks: 7 (limit: 4620)
     Memory: 224.9M
     CGroup: /system.slice/molochcapture.service
             ├─4002 /bin/sh -c /data/moloch/bin/moloch-capture -c /data/moloch/etc/config.ini  >> /data/moloch/logs/capture.log 2>&1
             └─4003 /data/moloch/bin/moloch-capture -c /data/moloch/etc/config.ini

Feb 23 18:57:15 ubuntu20 systemd[1]: Starting Moloch Capture...
Feb 23 18:57:16 ubuntu20 systemd[1]: Started Moloch Capture.

systemctl status molochviewer

● molochviewer.service - Moloch Viewer
     Loaded: loaded (/etc/systemd/system/molochviewer.service; enabled; vendor preset: enabled)
     Active: active (running) since Tue 2021-02-23 18:57:40 UTC; 14s ago
   Main PID: 4054 (sh)
      Tasks: 12 (limit: 4620)
     Memory: 51.5M
     CGroup: /system.slice/molochviewer.service
             ├─4054 /bin/sh -c /data/moloch/bin/node viewer.js -c /data/moloch/etc/config.ini  >> /data/moloch/logs/viewer.log 2>&1
             └─4055 /data/moloch/bin/node viewer.js -c /data/moloch/etc/config.ini

Feb 23 18:57:40 ubuntu20 systemd[1]: Started Moloch Viewer.

Файлы логов

Вы можете найти логи Arkime/Moloch и логи Elasticsearch:

/data/moloch/logs/viewer.log

/data/moloch/logs/capture.log

/var/log/elasticsearch/*

Настройка конфигураций Arkime/Moloch

Если вы когда-нибудь захотите обновить конфигурации Arkime/Moloch, проверьте файл конфигурации /data/moloch/etc/config.ini.

Доступ к веб-интерфейсу Arkime/Moloch

Moloch по умолчанию прослушивает порт 8005/tcp.

Если UFW запущен, откройте на нем этот порт, чтобы разрешить внешний доступ.

ufw allow 8005/tcp

Затем вы можете получить доступ, используя URL-адрес http://MOLOCHHOST:8005 в своем любимом браузере.

Вам будет предложено ввести базовые учетные данные для аутентификации пользователя, которые вы создали ранее.