====== Elastic Stack для сетевого инженера ======

===== Анонс мастер класса =====

  * [[https://www.specialist.ru/news/5743/elastic-stack-dlya-setevogo-inzhenera|Elastic Stack для сетевого инженера]]

===== Запись мастер класса =====

  * [[https://youtu.be/EvuEjXhDMNQ|Elastic Stack для сетевого инженера]]
===== Реклама мастер класса =====

  * Задачи, которые ветераны решали с помощью таких милых сердцу UNIX решений как grep, awk, regexp, syslogd, flowd и подобных, никуда не делись, только объемы возросли многократно. Давайте рассмртрим варианты решений нескольких типовых задач сетевого инженера с использованием современых инструментов из популярного набора Elastic Stack и решим, делают ли они жизнь инженера лучше)

===== Техническое задание =====

  * Настроить с помощью Logstash разбор и копирование журналов оборудования Cisco в Elasticsearch и автоматизировать резервное копирование с контролем версий в случае изменения конфигурации оборудования
  * Использовать Filebeat и Elasticsearch в качестве NetFlow Collector и Kibana в качестве NetFlow Analyzer

===== Методические рекомендации =====

  * Провести мастер класс в соответствии с планом лабоаторных работ курса [[Linux. Мониторинг оборудования и интеграция с Cisco]] и включить материал в текущую версию курса.

===== Шаг 1. Исходное состояние стенда =====

  * [[Оборудование уровня 3 Cisco Router]] с DHCP и netflow
  * Подключение Vbox VM win client1 с общим буфером обмена и chrome
  * [[Оборудование уровня 2 Cisco Catalyst]] switch и switch2
  * [[Общие настройки сетевого оборудования Cisco#Настройка SSH]] и SCP
  * [[Linux. Мониторинг оборудования и интеграция с Cisco#2.3 Настройка базовой конфигурации server]]
  * [[Сервис SSH#Настройка ssh клиента]] на server
  * [[Сервис ТFTP]] 
  * + каталог /srv/tftp/ инициализированный [[Сервис Git]]
<code>
server# cd /srv/tftp/
server# git init

server# date
server# apt update

server# ssh switch1

server# ssh switch2

server# sshpass -p cisco scp switch1:running-config /srv/tftp/switch1-running-config

server# sshpass -p cisco scp switch2:running-config /srv/tftp/switch2-running-config

server# ls -l /srv/tftp/

server# rm /srv/tftp/*

server# ping ya.ru
</code>

===== Шаг 2. Знакомство с Elasticsearch и Kibana =====

  * Устанавливаются по 2 минуты, объем > 300 МБ, лучше сделать заранее или совместить с теорией
  * [[Сервисы ELK#Elasticsearch]]
  * [[Сервисы ELK#Kibana]]

===== Шаг 3. Использование Logstash для обработки журнальных сообщений =====

  * Устанавливается 2 минуты, лучше сделать заранее или совместить с теорией
  * [[Сервисы ELK#Logstash]]
  * Вывод логов в stdout ([[Общие настройки сетевого оборудования Cisco#Отправка логов на syslog сервер]])
  * Разбор сообщения на поля ([[Сервис NTP]] на server и [[Общие настройки сетевого оборудования Cisco#Настройка времени]] на коммутаторах)
  * Вызов скриптов для определенных сообщений

===== Шаг 4. Использование Filebeat и Elasticsearch в качестве NetFlow Collector и Kibana в качестве NetFlow Analyzer =====

  * [[https://www.elastic.co/guide/en/logstash/current/netflow-module.html|Logstash Netflow Module]] Deprecated in 7.4.0. Replaced by the Filebeat Netflow Module which is compliant with the Elastic Common Schema (ECS)
  * Использование [[Сервисы ELK#Filebeat]] для записи журналов каталога /var/log/ в [[Сервисы ELK#Elasticsearch]]
  * [[Общие настройки сетевого оборудования Cisco#Настройка времени]] на router
  * [[Оборудование уровня 3 Cisco Router#Настройка экспорта статистики по протоколу NetFlow]] на router
  * Использование [[Сервисы ELK#filebeat netflow module]] для записи информации о трафике в [[Сервисы ELK#Elasticsearch]]
  * Использование предустановленных Dashboard в Kibana [[Сервисы ELK#Filebeat Netflow Top-N]]