PromTail, Loki, Grafana로 로그 수집 환경 구축

1. 개요

로그 수집을 하기 위한 솔루션이라고 하면 당연히 ELK(Elasticsearch, Logstash, Kibana)를 떠올릴 수 있다. 하지만 무거운 ELK를 감당하기엔 서버 스펙이 낮았고, 비교적 가볍게 실행할 수 있는 PromTail, Loki, Grafana를 도입하게 되었다. 

 

또한 메트릭 수집은 Prometheus, Grafana로 이미 진행하고 있었기 때문에 도입의 근거는 더욱 명확했다. 

 

어쩌다보니 로그 수집 환경 구축만 3번째이다. Cloud Watch, ELK, Loki.. 

 

 

 

 

 

2. Grafana & Promtail & Loki 설치

Grafana는 오픈 소스로 제공되는 대시보드 및 시각화 플랫폼이다. 그라파나는 다양한 데이터소스로부터 데이터를 가져와서 대시보드와 그래프 등으로 데이터를 시각화할 수 있으며 프로메테우스(Prometheus), 로키(Loki), 엘라스틱서치 등과 통합이 잘 되어 있다.

 

Promtail은 로그 파일을 실시간으로 감시하고 새로운 로그 메시지가 추가될 때마다 로그를 읽어서 로키로 전송한다. 프롬테일은 로그 파일을 직접 읽어서 로키에 전송하는 것이 아닌 tailing을 사용하여 실시간으로 로그 데이터를 읽는다. 이는 로그 파일을 읽는 과정에서 다른 프로세스에 영향을 미치지 않으며 높은 처리량을 제공한다. 따라서, 대규모 분산 시스템에서 발생하는 로그 데이터를 효율적으로 수집하고 분석할 수 있다.

 

Loki는 프로메테우스와 마찬가지로 그라파나 랩스(Grafana Labs)에서 개발하고 있다. 프로메테우스는 수집된 메트릭을 저장하고 그래프로 시각화할 수 있도록 지원하는 시스템이다. 하지만, 로그 데이터를 수집하고 검색하는 기능은 제공하지 않는다. 이에 반해 로키는 프로메테우스의 기본 데이터 형식인 텍스트 기반 로그 포맷을 사용하여 로그 데이터를 수집하고 저장한다.

 

 

나는 도커를 사용해 컨테이너 환경에서 설치했다. 

 

 

- Grafana 설치

docker run -d --name=grafana -p 3000:3000 grafana/grafana

 

- Loki 설치

docker run -d --name=loki -p 3100:3100 grafana/loki

 

 

- Promtail 설치

docker run -d --name=promtail -v /home/ubuntu/log:/logs grafana/promtail

 

promtail은 외부에서 접속할게 아니기 때문에 port는 따로 설정하지 않아도된다. 

대신, 볼륨은 각자에 맞게 잘 설정해주자. 나의 경우 /home/ubuntu/log 경로에 Spring Boot log를 파일로 기록해두고 있었기 때문에 위와 같이 작성했다. 

 

 

 

 

 

3. 설정 파일 수정

이제 Loki, Promtail의 yml파일을 수정해줘야 한다. 

 

 

먼저 Promtail이다. 

docker exec -it promtail /bin/bash // 컨테이너 내부 접속
cd /etc/promtail // conf파일 위치

 

- config.yml (Promtail)

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://[ip주소]:3100/loki/api/v1/push

scrape_configs:
- job_name: [job name]
  static_configs:
  - targets:
      - localhost
    labels:
      job: [label name]
      __path__: [log 파일 경로]

 

Clients의 url은 Promtail이 로그 데이터를 전송할 Loki 서버의 주소이다. 

 

나는 하나의 job만 등록시켰지만 만약 에러 로그 레벨 별로 로그백을 하고 있다면 여러 개 설정가능하다. 

 

 

 

다음은 Promtail의 설정 파일을 수정해주자.

docker exec -it promtail /bin/bash // 컨테이너 내부 접속
cd /etc/loki // conf파일 위치

 

 

- local-config.yaml (Loki)

auth_enabled: false

server:
  http_listen_port: 3100 // 서버 리스닝 포트 설정

common:
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper // 인덱스 저장소 유형
      object_store: filesystem // 객체 저장소 유형
      schema: v11
      index:
        prefix: index_
        period: 24h // 인덱스 파일 생성 주기

ruler:
  alertmanager_url: http://localhost:9093

 

 

 

 

 

 

 

4. Grafana에서 로그 확인

prometheus와 마찬가지로 Loki도 Data sources를 만들어주고, Dashboard에 연결하면 로그를 확인할 수 있다.