🐳 Самоучитель по логированию контейнеров Docker для начинающих

Ведение журналов контейнеров Docker очень важно для мониторинга производительности приложений, устранения неполадок и обеспечения соответствия требованиям безопасности.

В этом руководстве описано все, что нужно знать о настройке и управлении логами контейнеров Docker.

Основные выводы

• Журналирование в Docker позволяет понять поведение приложения, что дает возможность устранить неполадки и оптимизировать производительность
• Docker поддерживает множество драйверов протоколирования, таких как json-файл (по умолчанию), syslog, fluentd и другие.
• Настройте драйверы и опции протоколирования в файле daemon.json или при запуске контейнеров
• Используйте docker logs для просмотра журналов контейнеров, с возможностью фильтрации и мониторинга в реальном времени.
• Внедряйте решения для централизованного ведения журналов и паттерн sidecar для эффективного управления журналами.
• Следуйте лучшим практикам, таким как стандартизация форматов журналов, настройка ротации журналов и мониторинг сбора журналов.

Настройка драйверов логирования Docker

Типы драйверов логирования Docker

Docker предоставляет несколько драйверов ведения журналов для их обработки контейнеров различными способами.

10 сборщиков логов с открытым исходным кодом для централизованного ведения журнала

Основными драйверами ведения журналов являются:

см. также: 🐧 Как отправлять сообщения syslog с помощью утилит командной строки

Установка драйвера ведения логов по умолчанию

Чтобы установить драйвер ведения лога по умолчанию для всех контейнеров на хосте Docker, необходимо настроить его в настройках демона Docker.

Отредактируйте файл daemon.json (обычно расположенный по адресу /etc/docker/daemon.json в Linux) и установите опцию log-driver:

{
  "log-driver": "syslog"
}

После внесения изменений перезапустите демон Docker, чтобы новые настройки вступили в силу.

Вы также можете указать дополнительные опции для драйвера логирования с помощью ключа log-opts в файле daemon.json.

Например, чтобы задать уровень syslog для драйвера syslog:

{
  "log-driver": "syslog",
  "log-opts": {
    "syslog-facility": "local5"
  }
}

Драйверы ведения лога для отдельных контейнеров

Если вы не хотите менять драйвер протоколирования по умолчанию для всех контейнеров, вы можете указать драйвер протоколирования для отдельных контейнеров при их запуске.

Используйте флаг –log-driver в команде docker run:

docker run --log-driver=fluentd your-image
   
Вы также можете передать драйверу протоколирования параметры с помощью флага –log-opt:

docker run --log-driver=fluentd --log-opt fluentd-address=fluentd.example.com:24224 your-image
   
Просмотр и управление логами контейнеров
Использование docker logs
Команда docker logs – это мощный инструмент для просмотра журналов запущенного контейнера.
Вот несколько распространенных вариантов использования и опций:



Опция
Описание




docker logs [CONTAINER ID/NAME]
Просмотр журналов определенного контейнера


docker logs --follow [CONTAINER ID/NAME]
Просмотр логов в режиме реального времени (аналогично tail -f).


docker logs --since=2023-05-15T13:00:00 [CONTAINER ID/NAME]
Показать логов с определенного времени


docker logs --tail=20 [CONTAINER ID/NAME]
Показать последние N строк журналов


docker logs --details [CONTAINER ID/NAME]
Включите дополнительные сведения в логи



Доступ к логам на хосте
По умолчанию Docker хранит журналы контейнеров в виде JSON-файлов в файловой системе хоста.
Их расположение – /var/lib/docker/containers/<CONTAINER ID>/<CONTAINER ID>-json.log.
Вы можете просматривать эти файлы напрямую:

Просмотр логов контейнера
cat /var/lib/docker/containers/<CONTAINER ID>/<CONTAINER ID>-json.log
В реальном времени
tail -f /var/lib/docker/containers/<CONTAINER ID>/<CONTAINER ID>-json.log
   
Это может быть полезно для доступа к логам, когда контейнер остановлен, или для анализа вне Docker.
Управление размером и ротацией файлов журнала
Чтобы предотвратить чрезмерное использование диска файлами журнала, вы можете настроить ротацию журнала и ограничение размера файла.
Отредактируйте файл daemon.json и добавьте следующие параметры:



Опция
Описание




max-size
Ограничьте размер файла журнала (например, 10 м для 10 МБ).


max-file
Ротация до определенного количества файлов журнала (например, 3).



Вот пример конфигурации daemon.json:
{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

Настройте значения в соответствии с вашими требованиями и перезапустите демон Docker, чтобы изменения вступили в силу.
Вы также можете настроить политики ротации для отдельных контейнеров с помощью флага –log-opt в команде docker run.
Лучшие практики ведения логов Docker
Стандартизация форматов и уровней журналов
Чтобы повысить эффективность управления и анализа журналов, необходимо стандартизировать форматы и уровни журналов во всех контейнерах Docker.
Использование структурированного формата журнала, например JSON, упрощает разбор и обработку данных журнала.
Определение согласованных уровней серьезности журнала (например, отладка, информация, предупреждение, ошибка) помогает классифицировать сообщения журнала в зависимости от их важности.
Централизованные средства ведения журналов
Вместо того чтобы полагаться на стандартные драйверы ведения журналов Docker, рассмотрите возможность использования централизованного решения для ведения журналов.
Такие инструменты, как Elastic Stack (Elasticsearch, Logstash, Kibana) и Fluentd, представляют собой надежную платформу для сбора, агрегирования и анализа логов из нескольких контейнеров и хостов.



Централизованное средство
Основные характеристики




Elastic Stack (ELK)
Elasticsearch для индексации и поиска журналов, Logstash для сбора и обработки журналов, Kibana для визуализации данных и создания информационных панелей.


Fluentd
Унифицированный уровень логирования для сбора и маршрутизации журналов, поддержка различных источников и выходов данных, высокая степень конфигурируемости и масштабируемости



Паттерн ведения логов Sidecar
Паттерн sidecar logging – это популярный подход к управлению логами в контейнерных средах, особенно в архитектурах микросервисов.
Этот паттерн предполагает сопряжение каждого контейнера приложения с выделенным контейнером sidecar, отвечающим за сбор и пересылку логов.
Как это работает:

Контейнер приложений: Выполняет основной код приложения и записывает журналы на общий том или в stdout/stderr.
Контейнер ведения журнала Sidecar: Монтирует тот же общий том, что и контейнер приложений, собирает журналы с общего тома или stdout/stderr и направляет их в централизованное решение для ведения логов.

Преимущества:

Отделение управления журналом от логики приложения
Позволяет настраивать обработку журналов для каждого приложения
Позволяет упростить обогащение и фильтрацию
Облегчает ротацию и политику хранения

Реализация паттерна sidecar logging позволяет эффективно управлять журналами в масштабируемой и поддерживаемой манере, сохраняя контейнеры приложений сосредоточенными на их основной функциональности.
Пошаговое руководство по ведению журнала в Docker
Практическое руководство по настройке журналирования контейнеров.
Создание контейнера Docker с протоколированием
Чтобы создать контейнер Docker с определенными настройками протоколирования, выполните следующие действия:
1. Создайте Dockerfile: Определите базовый образ, скопируйте код приложения и задайте конфигурацию протоколирования.
FROM python:3.9-slim

WORKDIR /app

COPY. /app

RUN pip install -r requirements.txt

CMD ["python", "app.py"]

# Set the logging driver to json-file
ENV LOG_DRIVER=json-file

# Set the log level to INFO
ENV LOG_LEVEL=INFO

2. Соберите образ Docker: Запустите

docker build -t myapp.
   
чтобы собрать образ Docker с помощью Dockerfile.
🎢 Что такое Dockerfile и как создать образ Docker?
3. Запустите контейнер Docker: Запустите

  docker run -d --name myapp myapp,
   
чтобы запустить Docker-контейнер в фоновом режиме.
4. Проверьте конфигурацию протоколирования:
Проверьте журналы контейнера с помощью

  docker logs myapp
   
чтобы убедиться, что конфигурация протоколирования настроена правильно.
Анализ логов контейнеров
После того как вы настроили ведение журналов контейнеров, вы можете анализировать логи, чтобы выявить проблемы, отладить их и оптимизировать производительность.
Вот несколько советов по анализу логов контейнеров:
 



Совет
Описание




Использование docker logs  с фильтрами
Используйте docker logs с фильтрами, чтобы сузить вывод до определенных контейнеров, дат или уровней журнала.


Ищите сообщения об ошибках
Определите сообщения об ошибках и исключениях в журнале, чтобы диагностировать проблемы в приложении.


Контролируйте объем и ротация
Контролируйте объем и скорость логирования журналов для выявления аномалий и проблем с производительностью.


Используйте инструменты для анализа журналов
Используйте инструменты анализа журналов, такие как Elastic Stack или Fluentd, для обработки, анализа и визуализации данных журналов.



Следуя этим шагам и советам, вы сможете эффективно настроить и проанализировать протоколирование контейнеров, чтобы повысить производительность и надежность вашего приложения.
Заключение
Логирование в Docker – это жизненно важная часть управления и мониторинга контейнерных приложений.
Настроив правильное ведение журнала, вы сможете получить ценные сведения о поведении приложения, эффективнее устранять неполадки и обеспечивать оптимальную производительность и надежность.