Prometheus & Grafana 를 통해 모니터링을 해보자 (Spring boot)

Prometheus

프로메테우스는 대상 시스템으로부터 각종 모니터링 지표를 수집하여 저장하고 검색할 수 있는 시스템이다.

 

 

프로메테우스 특징

• 메트릭 기반의 오픈소스 모니터링 시스템이다.
• 이벤트 모니터링 및 경고에 사용되는 무료 소프트웨어 응용 프로그램이다.
• 유연한 쿼리(PromQL) 및 실시간 경고가 가능하다.
• 구조가 간단해서 운영이 쉽고, 강력한 쿼리 기능을 가지고 있으며, 그라파나(Grafana)를 통한 시각화를 지원한다.
•  ELK와 같은 로깅이 아니라, 대상 시스템으로부터 각종 모니터링 지표를 수집하여 저장하고 검색할 수 있는 시스템이다.
• 프로메테우스가 주기적으로 exporter(모니터링 대상 시스템)로부터 pulling 방식으로 메트릭을 읽어서 수집한다.

 

메트릭이란?

수집하는 시계열 데이터를 말한다.
프로메테우스의 메트릭은 "메트릭명{필드1=값, 필드2=값} 샘플링데이터" 와 같이 수집된다.

시계열 데이터베이스란?

시계열 DB는 시간을 축(키)으로 시간의 흐름에 따라 발생하는 데이터를 저장하는 데 최적화된 데이터베이스이다.

 

기능 및 구성

• 메트릭 수집, 시계열 데이터 저장
• 유연한 쿼리 언어인 PromQL을 통한 성능 분석
• 그라파나를 통한 데이터 시각화
• alertmanager를 통한 알림 생성 

 

 

Grafana

• 프로메테우스를 비롯한 여러 데이터들을 시각화해주는 모니터링 툴
• 시스템 관점(CPU, 메모리, 디스크)의 메트릭 지표를 시각화하는데 특화
• 알람기능을 무료로 사용 가능

 

 

Architecture

 

 

 

 

이제 Spring boot 프로젝트를 모니터링 해보자

 

Spring Boot Actuator는 스프링 부트 애플리케이션을 모니터링하고 관리하기 위한 기능을 제공하는 라이브러리이다. Actuator를 사용하면 애플리케이션의 다양한 상태와 메트릭에 대한 정보를 노출할 수 있다. 즉 expoter 역할을 하는 것이다.

acutator가 아니라면 통상 많이 사용되는 expoter는 'Node Expoter', 'CAdvisors' 를 사용해서 모니터링 할 수 있다. Prometheus와 Grafana와 같은 모니터링 도구는 이러한 Actuator 엔드포인트를 통해 애플리케이션의 상태 및 성능 데이터를 수집할 수 있다.

 

 

우선 build.gradle에 actuaor와 prometheus를 추가해주자

	// actuator
	implementation 'org.springframework.boot:spring-boot-starter-actuator'

	// prometheus
	implementation 'io.micrometer:micrometer-registry-prometheus'

 

 

 

그러고 application.yml에 엔드포인트를 설정해주면 된다.

management:
  endpoints:
    web:
      base-path: /jikgong
      exposure:
        include: prometheus

 

 

 

[주소]:8080/jikgong/prometheus 으로 접속하면 아래와 같은 화면을 만나볼 수 있을 것이다.

base-path를 따로 지정하지 않으면 800:/acutaor/prometheus 일 것이다. 

 

 

 

이제 Prometheus와 Grafana을 띄울 docker-compose파일을 작성해준다.

이때 prometheus에 volume을 잡아 외부에서 prometheus설정을 할 수 있도록 해주었다. 

version: "3.8"

services:

  prometheus:
      image: prom/prometheus
      ports:
        - "9090:9090"
      volumes:
        - /home/kevin/prometheus/conf/prometheus.yml:/etc/prometheus/prometheus.yml
      command:
        - '--config.file=/etc/prometheus/prometheus.yml'
      restart: always

  grafana:
    image: "grafana/grafana"
    ports:
      - "3000:3000"
    volumes:
      - /home/kevin/grafana/conf_grafana:/config_files
    restart: always
    depends_on:
      - prometheus
    privileged: true

 

 

 

 

volume으로 잡았던 prometheus.yml을 작성해주자.

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]


  - job_name: "java_application"
    metrics_path: '/jikgong/prometheus'
    scrape_interval: 5s
    static_configs:
      - targets: ["서버IP:8080"]

 

 

 

 

위에서 작성했던 prometheus, grafana docker compose 파일을 실행시켜주고

9090포트로 접속해준다.

그리고 status -> targets 메뉴로 들어가서 애플리케이션이 정상적으로 로드 됐는지 확인해주면 된다.

 

여기 제대로 뜨지 않는다면 prometheus.yml의 targets 주소를 잘 못 적었을 가능성이 있다. 

나같은 경우엔 spring boot를 띄운 네트워크와 prometheus, grafana를 띄운 네트워크가 달라 host.docker.internal:8080 으로 설정했을 땐 접속이 되지 않았었다. 

 

 

 

그라파나는 3000번 포트로 잡았기 때문에

[ip주소]:3000 으로 접속해준다. 아래와 같은 화면이 뜰텐데 따로 설정하지 않았으면 admin/admin이다. 

따로 설정하고 싶다면 docker-compose 파일에서 따로 설정할 수 있다.

 

 

 

datasource를 추가해준다.

 

 

 

Prometheus를 클릭하고 connetion에 주소를 입력해준다.

제대로 주소를 입력했다면 아래 그림처럼 뜰 것이다.

 

 

 

만들어진 datasource에 dashboard를 build해준다. 

본인이 직접 대쉬보드를 구성해도 되지만 이미 잘 만들어진 대시보드들이 있기 때문에 취향것 선택하면 된다.

나는 이미 만들어진 걸 사용하기 위해 import를 해주었다.

 

 

 

이제 그라파나를 통해 Spring boot의 메트릭을 확인할 수 있게됐다.

세팅은 어렵지않으나, 이 지표를 가지고 얼마나 잘 운영을 하냐가 중요한 것 같다.

 

추후에 5xx에러가 발생, 메모리 일정량 이상 사용, CPU 일정량 이상 사용 등 조건을 걸어 slack으로 알람을 받아 볼 수 있게끔 구축할 예정이다.

 

 

그라파나의 alerting을 사용하여 slack으로 알람 받기를 도전.. 했지만 정말 어려웠다. 유튜브에 당근마켓 개발자님이 설명해주시는 영상을 참고하여 구현해보려 했지만, 버전도 다르고 마음같이 잘 되지 않았다.

 

그래서 우선은 AOP를 적용해 응답까지 x초 이상 넘어간 api 요청에 대해서 slack으로 알림을 보내는 것으로 임시 대체 하였다. 

 

아래는 해당 코드이다. 

@Around("pointcut()") // 어드바이스 + 포인트컷 설정
    public Object advice(ProceedingJoinPoint proceedingJoinPoint) throws Throwable {
        String methodName = proceedingJoinPoint.getSignature().getName();

        long start = System.currentTimeMillis();
        Object result = proceedingJoinPoint.proceed();// 타깃 메소드 호출

        long end = System.currentTimeMillis();
        long runningTime = end - start;

        if (runningTime <= 1000) {
            log.info("[정상 실행] method = {}, 실행시간 = {} ms", methodName, runningTime);
        } else {
            String message = "[!경고] [기준 실행 시간을 초과하였습니다] method = " + methodName + ", 실행시간 = " + runningTime + "ms";
            log.error(message);
            // Slack 메시지 전송
            HashMap<String, String> data = new HashMap<>();
            data.put("경고 내용", message);
            slackService.sendMessage("경고: 실행 시간 초과", data);
        }
        return result;
    }