[ELK] elastic stack 구축하여 로그 수집, 관리 하기 (+ spring boot)

모니터링을 위해 최근 prometheus와 grafana를 통해 metric을 수집했다. 

이번엔 로그 수집을 위해 elastic stack (elastic search + logstash + kibana) + filebeat 로 로그 관리 시스템을 구축해보았다. 

 

 

로그를 수집하게 되면 다음과 같은 장점이 있다.

• 1. 사용자 행동 분석 로그 데이터를 통해 사용자의 행동 패턴을 파악하고 이를 바탕으로 서비스 개선 및 마케팅 전략을 세울 수 있다.
• 2. 오류 및 버그 추적 로그를 통해 시스템 내 발생한 오류나 문제를 확인하고 추적할 수 있어, 소프트웨어의 안정성과 품질을 개선할 수 있다.
• 3. 성능 최적화 로그 데이터를 분석하여 데이터 베이스 작업, API 호출, 시스템 리소스 사용 등 시스템의 성능 상태를 파악하고, 이를 통해 성능 문제점을 찾아 수정할 수 있다.
• 4. 보안 감시 로그를 통해 시스템 내의 비정상적인 활동, 해킹 시도, 인증 실패 등을 식별하고, 보안 취약점을 찾아낼 수 있다. 이는 시스템 보안의 유지를 도울 뿐만 아니라, 사이버 공격에 대한 대응 역시 가능하게 한다.

 

로그 수집을 해야겠다 느낀 가장 큰 이유는 " 로그를 통해 시스템 내 발생한 오류나 문제를 확인하고 추적하여 장애에 대처하고, 서비스의 안정성과 성능을 개선" 할 수있기 때문이었다. 

 

 

 

※ ELK 스택 이란?

Elasticsearch: JSON 기반의 분산형 오픈 소스 검색 및 분석 엔진, 주로 REST API를 통해 처리한다.

Logstash: 여러 소스에서 동시에 데이터를 수집하여 변환한 후, Elasticsearch 같은 "stash"로 전송하는 서버사이드 데이터 처리 파이프라인을 말한다.

Kibana: Elasticsearch에서 색인된 데이터를 검색하고 보고 시각화하며 막대 차트, 원형 차트, 표, 히스토그램, 지도 등을 생성하여 데이터를 분석할 수 있게 해준다. 

 

 

Filebeat: 

• Filebeat는 경량화된 설계로 작동하며, 시스템 자원을 적게 사용하여 데이터를 수집하여 성능상의 이점이 있다.
• 수집한 로그 데이터를 ElasticSearch 또는 Logstash와 같은 저장소로 실시간으로 전송한다. 이렇게 함으로써 중앙 집중화된 로그 시스템에서 로그 데이터를 효과적으로 처리하고 분석할 수 있다.

 

 

 

들어가기 앞서 아키텍트는 아래 그림과 같다. 

log file들을 Filebeat에서 읽어 Logstash로 보내준다. 

Logstash는 수집한 log를 필터를 거쳐 Elasticsearch로 보내주고

kibana에서 이를 시각화 해준다.

 

1. Application 로그 수집

먼저 Spring Boot Application에서 로그를 수집해야 한다. logback 기능을 활용하여 console에 찍히는 로그들을 파일로 백업해주었다.

 

지금은 콘솔에 찍히는 log 전부를 logback 해주었지만 추후에 aop를 활용해서 request, error, respones에 대한 로그만 찍어도 괜찮겠다는 생각이 들었다. 

 

- logback-spring.xml

<?xml version="1.0" encoding="UTF-8" ?>
<configuration>
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter" />

    <property name="CONSOLE_LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %clr(%5level) %cyan(%logger) - %msg%n" />
    <property name="FILE_LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %5level %logger - %msg%n" />

    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
        </encoder>
    </appender>
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <encoder>
            <pattern>${FILE_LOG_PATTERN}</pattern>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>./log/%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>

    <springProfile name="local">
        <logger name="com.feelcoding.logbackdemo" level="DEBUG" />
        <root level="INFO">
            <appender-ref ref="CONSOLE" />
            <appender-ref ref="FILE" />
        </root>
    </springProfile>
<!--    <springProfile name="dev|stg">-->
<!--        <root level="INFO">-->
<!--            <appender-ref ref="CONSOLE" />-->
<!--            <appender-ref ref="FILE" />-->
<!--        </root>-->
<!--    </springProfile>-->
    <springProfile name="prod">
        <root level="INFO">
            <appender-ref ref="CONSOLE" />
            <appender-ref ref="FILE" />
        </root>
    </springProfile>
</configuration>

 

 

2. Docker로 ELK 실행 및 설정

https://github.com/deviantony/docker-elk

GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose.

 

위 repository에서 clone부터 해주자.

 

 

 

- docker-compose.yml

version: '3.2'

services:
  elasticsearch:
    build:
      context: elasticsearch/
      args:
        ELK_VERSION: $ELK_VERSION
    volumes:
      - type: bind
        source: ./elasticsearch/config/elasticsearch.yml
        target: /usr/share/elasticsearch/config/elasticsearch.yml
        read_only: true
      - type: volume
        source: elasticsearch
        target: /usr/share/elasticsearch/data
    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      ES_JAVA_OPTS: "-Xmx256m -Xms256m"
      ELASTIC_PASSWORD: elastic
      # Use single node discovery in order to disable production mode and avoid bootstrap checks
      # see https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html
      discovery.type: single-node
    networks:
      - elk

  logstash:
    build:
      context: logstash/
      args:
        ELK_VERSION: $ELK_VERSION
    volumes:
      - type: bind
        source: ./logstash/config/logstash.yml
        target: /usr/share/logstash/config/logstash.yml
        read_only: true
      - type: bind
        source: ./logstash/pipeline
        target: /usr/share/logstash/pipeline
        read_only: true
    ports:
      - "5044:5044"
      - "5000:5000/tcp"
      - "5000:5000/udp"
      - "9600:9600"
    environment:
      LS_JAVA_OPTS: "-Xmx256m -Xms256m"
    networks:
      - elk
    depends_on:
      - elasticsearch

  kibana:
    build:
      context: kibana/
      args:
        ELK_VERSION: $ELK_VERSION
    volumes:
      - type: bind
        source: ./kibana/config/kibana.yml
        target: /usr/share/kibana/config/kibana.yml
        read_only: true
    ports:
      - "5601:5601"
    networks:
      - elk
    depends_on:
      - elasticsearch

  filebeat:
    build:
      context: filebeat/
      args:
        ELK_VERSION: $ELK_VERSION
    volumes:
      - /home/kevin/jikgong/logs:/var/log/host_logs:ro
      - ./filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml
    networks:
      - elk
    depends_on:
      - logstash


networks:
  elk:
    driver: bridge

volumes:
  elasticsearch:

 

여기서 주의해야할 것들은 filebeat 부분이다.

다들 elk yml 파일을 세팅해둔 repository에서 clone 후 elk를 시작하실텐데 그럼 filebeat 컨테이너 설정 부분은 없다. 

logstash로 로그를 보내는 방법은 redis, kafka 등 여러가지 있지만 저는 filebeat를 사용했기 때문에 docker compose 파일에 따로 작성해두었다. 

 

사실 지금와서 생각해보면 굳이 filebeat를 docker로 띄웠어야 했나 싶다. 이 글을 보고 계신 분이라면 filebeat는 그냥 서버 환경에 설치해서 쓰자.. 

 

나는 docker로 띄웠기 때문에 

[스프링 컨테이너 로그 파일] - [우분투 파일] - [filebeat 컨테이너] 이렇게 볼륨을 걸어뒀다.

 

 

 

설정파일을 하나하나 살펴보자

 

ElasticSearch

- Dockerfile

ARG ELK_VERSION

# https://www.docker.elastic.co/
FROM docker.elastic.co/elasticsearch/elasticsearch:${ELK_VERSION}

# Add your elasticsearch plugins setup here
# Example: RUN elasticsearch-plugin install analysis-icu
RUN elasticsearch-plugin install analysis-nori

 

 

- elasticsearch.yml

---
## Default Elasticsearch configuration from Elasticsearch base image.
## https://github.com/elastic/elasticsearch/blob/master/distribution/docker/src/docker/config/elasticsearch.yml
#
cluster.name: "docker-cluster"
network.host: 0.0.0.0

 

 

Logstash

- Dockerfile

ARG ELK_VERSION

# https://www.docker.elastic.co/
FROM docker.elastic.co/logstash/logstash:${ELK_VERSION}

# Add your logstash plugins setup here
# Example: RUN logstash-plugin install logstash-filter-json

 

- config/logstash.yml

---
## Default Logstash configuration from Logstash base image.
## https://github.com/elastic/logstash/blob/master/docker/data/logstash/config/logstash-full.yml
#
http.host: "0.0.0.0"
  # xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]

 

 

- pipeline/logstash.yml

input {
    beats {
        port => 5044
    }
}

## Add your filters / logstash plugins configuration here

output {
        elasticsearch {
                hosts => "elasticsearch:9200"
                index => "logstash-%{+yyyy.MM.dd}"
                user => "elastic"
                password => "elastic"
                ecs_compatibility => disabled
        }
}

 

여기서 input 의 port는 logstash가 filebeat로 부터 받을 port여야한다.

나중에 filebeat 설정 파일에서 output port와 맞춰주면 된다.

 

 

Kibana

- Dockerfile

ARG ELK_VERSION

# https://www.docker.elastic.co/
FROM docker.elastic.co/kibana/kibana:${ELK_VERSION}

# Add your kibana plugins setup here
# Example: RUN kibana-plugin install <name|url>

 

 

- kibana.yml

---
## Default Kibana configuration from Kibana base image.
## https://github.com/elastic/kibana/blob/master/src/dev/build/tasks/os_packages/docker_generator/templates/kibana_yml.template.ts
#
server.name: kibana
server.host: 0.0.0.0
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
monitoring.ui.container.elasticsearch.enabled: true

 

 

filebeat

- Dockerfile

ARG ELK_VERSION

FROM docker.elastic.co/beats/filebeat:${ELK_VERSION}

COPY filebeat.yml /usr/share/filebeat/filebeat.yml
USER root

RUN mkdir /var/logs

RUN chown -R root /usr/share/filebeat

 

filebeat 도 Dockerfile 생성할 때 버전을 ELK_VERSION으로 같이 맞춰줘야한다.

 

나는 버전 안 맞춰서 1시간은 까먹은 것 같은데.. 사실 로그 봤으면 빨리 해결할 수 있는 문제인데 하루 종일 환경 구축하면서 에러랑 싸우니 머리도 안 돌아가고 원인 파악이 쉽지 않았던 것 같다..

 

 

- filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/host_logs/*.log

output.logstash:
 hosts: ["logstash:5044"]

 

여기서 pahts는 본인이 읽으려고 하는 log의 위치를 작성해주면 된다. 

나는 host_logs/ 밑에 access_log.{날짜}.log 와 info.log 두가지 log 파일을 읽어주기 위해 위와 같이 작성했다. 

 

 

 

 

여기까지 세팅했다면 docker-compose.yml 파일 위치로 돌아가 실행해준다. 

 

elastic search => logstash, kibana => filebeat 순으로 컨테이너가 띄워져야 잘 실행된다. 혹시나 docker compose로 실행하지 않는 분이라면 참고하시길

 

 

 

컨테이너가 잘 띄워졌다면 5601 포트로 들어가보자. kibana 웹 페이지를 볼 수 있을 것이다.

 

이제 index pattern을 등록하러 가보자

 

이전에 logstash 설정 파일에서 등록해준 index pattern 들이 보일 것이다. 

등록해주고 싶은것만 등록해주면 된다.

 

 

등록 후 discover 탭으로 들어가면!!! 

드디어 그토록 보고싶었던 로그들이 보이기 시작한다.

 

 

 

 

Docker 볼륨 설정하는 것 부터, elk 다양한 설정 파일 수정하는 것 까지 꽤나 많은 시행착오를 겪었다.

 

docker compose 파일에서 network를 elk로 잡아뒀지만 {디렉토리명}_elk 로 생겨 elk network에 띄워놓은 filebeat와 다른 network에 elk 컨테이너가 뜨는 등 사소한 문제들이 많았지만 아무튼 연동까지 성공했다.

 

이번에도 느꼈지만 제발 로그좀 잘 보자!! 로그만 자세히 살펴봤어도 이보단 훨씬 빨리 구축할 수 있었을 것 같다. 

 

elastic stack이 러닝커브가 굉장하다고.. 들었는데 로그 분석부터 차근차근 공부해서 장애 대처에 능숙한 백엔드 개발자가 되도록 노력해야겠다