Вам скучно открывать файлы в другом текстовом редакторе, работая в командной строке для анализа и получения только необходимой информации.
Написание более длинных команд для среза только требуемых данных или команд регулярных выражений для форматирования.
Давайте разрешим вашу проблему с помощью инструмента ag (Angle-Grinder).
Да, ag позволяет вам вырезать, форматировать и анализировать файлы в командной строке.
Обработка Миллиона строк или анализ данных из файла с молниеносной скоростью можно использовать только с помощью Angle-Grinder .
При обработке любых файлов результаты обновляются в реальном времени на терминале, что позволяет управлять вашими данными, и вы можете остановить процесс, когда это необходимо.
Разбор документа и получение необходимой информации из json, log или любых других файлов, легко сделанных на терминале.
По большей части вам не нужно думать о том, как работает программное обеспечение, и вы можете сосредоточиться на интерактивном программном обеспечении и использовать терминал так, как вы хотите.
Этот инструмент построен с целью сделать терминал более мощным, и пользователь может эффективно использовать свое время, а тратить его на другие нетерминальные инструменты
Angle-Grinder особенности
• Анализ, сбор, суммирование и сортировка данных в файлах
• Живые обновления на терминале
• Лучшая аналитика данных – проверка журналов
• Возможно, самым большим преимуществом использования традиционных методов обработки текста для просмотра лог-файлов является то, что он упрощает поиск по дате (не рассматривается в учебнике)
Установка
Инструмент agrind / ag / angle-grinder поддерживается на любой версии Linux, а также на Mac OS.
Одна единственная команда в любой системе и ag готова для вас.
# curl -L https://github.com/rcoh/angle-grinder/releases/download/v0.7.2/angle_grinder-v0.7.2-x86_64-unknown-linux-musl.tar.gz \ | tar Ozxf - \ | sudo tee / usr / local / bin / agrind> / dev / null && sudo chmod + x / usr / local / bin / agrind
Синтаксис
Инструмент agrind работает со многими сериями операторов и несколькими «|» для передачи вывода каждой части для фильтрации или анализа или агрегирования данных.
Как правило, начальная операция будет анализировать файлы данных или JSON, за которыми следуют агрегирование или группировка или ограничение общего количества событий, этот список не ограничен, вы можете исследовать себя и изучать разные способы для других операторов.
Использование инструмента ag
мы используем образцы файлов, доступных в пакете для демонстрации, а для будущих команд не забывайте этот синтаксис:
agrind ‘| operator1 | оператор2 | оператор3 | …»
поэтому давайте начнем с разных примеров один за другим,
Оператор Filter
Команда Filter выведет вниз строки с тегом ERROR в них, скажем, что вы работаете с сетевым файлом, и внезапно вам нужно выяснить ошибку из своего журнала.
Эта простая команда будет работать как очарование для вас.
Все, что вам нужно сделать, это передать WORD внутри ‘(одинарная кавычка).
# sudo cat filter_test.log | agrind '"ERROR"
Оператор Non-Aggrgate
Файл журнала test_json содержит сообщения об ошибках.
Этот запрос agrinder покажет все строки, потому что мы использовали *.
И он отобразит результат как формат JSON (JavaScript Object Notation). то есть в качестве облегченного формата обмена данными. Он отобразит каждую информацию из каждой строки файла журнала в квадратных скобках.
Средство для чтения человеком.
Данные теперь являются сплиттерами в значение (ключ) и сообщение (значение),
# cat test_json.log | agrind '* | JSON»
Where
where if (условие) выполняется, строка сохраняется как есть, но если условие не удовлетворяет строкам, в которых они были сброшены.
В приведенной ниже команде слева есть имя столбца, а right – это условие. Примеры
# cat test_parse.log | agrind '* | json | где status_code> = 400 '
другой пример
# python -u gen_logs.py | agrind '* | json | p50 (response_ms) по status_code, url '||
