메모리 사용량 임계치 도달 시 Slack으로 알림 받아보기 (Grafana Alert)

1. 개요

예전에 프로메테우스, 그라파나를 도커로 띄워 스프링 부트 모니터링 환경을 구축했었다. 

하지만 모니터링을 매번 눈으로만 하기는 힘들다. 그라파나에선 쿼리를 통해 slack, email 등 여러 서비스로 알림을 보내줄 수 있다. 

 

사실 처음 모니터링 환경을 구축했을 때도 slack으로 알림을 보내도록 하고싶었는데, PromQL 다루는데 미숙해서 실패했었다. 

 

이번에 깔끔하게 정리해서 기록해두려 한다. 

 

 

 

 

 

 

2. Slack 설정

먼저 알람 메시지를 Slack으로 전달받기 위해 Slack의 Web Hook 을 생성해야 한다.

 

 

 

Slack App 생성하기 

• Slack API 홈페이지에 접속한 후 로그인 해준다. 
• 로그인이 완료되었다면, Create New App 버튼을 클릭해 Slack App을 생성해야 한다. 
• 생성 완료 되었다면, 아래와 같이 App 목록이 보이게 된다. 

 

Token 생성 및 기타 설정

• 위에서 grafana 이름을 가진 Slack App을 생성하였다. 
• 생성한 앱으로 들어간 후, 왼쪽 설정 메뉴들에서 Oauth & Permissions 메뉴를 클릭한다. 

 

• Oauth & Permissions 메뉴를 선택하면, 다양한 옵션을 설정할 수 있는 화면이 나온다.
• 여기서 Scopes -> Bot Token Scopes 항목을 찾아서 Oauth Scope을 추가해야한다.
• 추가해야 할 Scope 은 chat:write, files:wirte 2개 이다. 
• 해당 권한을 추가한 이유는, 그라파나에서 Slack API를 통해 메시지와 그래프 이미지를 전송하기 위해서 이다. 
• Add an Oauth Scope 버튼을 통해 chat:write, files:write Scope 을 추가할 수 있다.

 

 

 

 

Bot User OAuth Token 설정하기

• OAuth Tokens for Your Workspace 목록에서 Install to Workspace 버튼을 클릭하여, Bot User OAuth Token 을 생성해 준다.

 

 

 

 

Webhooks 생성하기

• Incoming Webhooks 메뉴를 클릭 후 버튼을 on으로 활성화 해준다.

• 활성화 시키면 Webhook URLs for Your Workspace 목록이 보이는 것을 볼 수 있다.
• 여기서 Add New Webhook to Workspace 버튼을 클릭해 채널을 추가해준다. 
• 추가하면 아래처럼 Webhook URL이 보일 것이다.

 

 

 

 

 

 

 

 

3. Grafana Alert Rule 설정

아래는 내 Dashboards이다.

 

여기서 나는 Heap Used 를 타겟으로 잡고 일정 메모리 이상 올라가면 알람을 보내도록 설정할 것이다. 

 

아래 메뉴들 중 Alert rules로 들어간다

 

New alert rule을 클릭해 새로운 규칙을 생성해준다. 

 

 

A영역에서는 어떠한 값을 기준으로 Alert를 발생시킬 지 값을 추출하는 쿼리문을 작성

 

B는 A의 값을 어떠한 기준으로 Alert를 발생시킬지 Alert 의 기준을 설정

나의 경우 B 부분은 이런 경고 메시지가 떠서 과감히 삭제하고 C를 다음과 같이 설성해줬다. 

 

 

타겟으로 잡은 A의 값의 조건을 설정해준다. 

 

 

다른 부분도 채워준 다음 마지막으로 위에서 생성한 Webhook URL을 세팅해준다.

 

 

 

생성을 성공적으로 완료하였다면 아래와 같이 뜨는걸 확인할 수 있다. 

 

 

 

 

 

 

 

 

 

4. Contact Point 생성

alert rule을 생성하였다면, 다음은 내가 알림을 전달받고 싶은 수단과 Grafana를 연결해야 한다. Contact points에 들어가서 Add contact point 클릭

 

 

 

Name에 내가 원하는 이름을 입력하고 Integration에는 내가 알림을 받고 싶은 수단을 선택한다. 나는 Slack과 연결하는 것이 목적이므로 Slack을 선택하고 아까 생성했던 Webhook URL을 복사하여 넣어준다.

 

 

 

 

이제 잘 연결되었는지 확인하기 위해 Test 해보자. Test를 클릭하고 Send test notification을 클릭하면 Slack 메시지가 전송된다.

 

 

테스트를 보내면 Slack에 아래와 같은 메세지가 와야한다.

 

 

 

 

 

 

 

 

 

5. Notification policy 생성

생성된 contact point를 notification policy에 등록해주지 않으면 alert가 발생해도 alert 메시지가 전송되지 않기 때문에 꼭 등록을 해주어야 한다. 

메뉴에서 Notification policies 클릭. Edit를 눌러 Deflaut contact point에 아까 설정한 contact point의 name을 입력한다.

 

이제 모든 설정은 끝났다.

 

 

 

 

 

 

 

 

 

 

6. 알람 받아보기

테스트를 위해 임계치를 굉장히 낮게 잡아뒀기 때문에 몇 번의 curl 요청 만으로 알람을 받아볼 수 있었다.

 

 

설정해둔 임계치를 넘어가게 되면 pending으로 라벨이 바뀐다.

나는 1분동안 메모리 사용량이 임계치를 넘어서면 알람을 보내도록 설정했기 때문에 옆에 for 8s 가 60s가 되는 순간 slack으로 알람을 발송한다.

 

 

firing으로 라벨이 바뀌게 되면서 알람이 가는 모습을 확인할 수 있다. 

 

이렇게 Slack으로 알람이 잘 온다..!!

 

 

이렇게 text만으로 알람을 받아보는 것 말고도 현재 모니터링 현황을 이미지로 보낼수도 있다고 한다. 아직 Grafana를 다루는데 미숙해 설정을 제대로 못한 것 같지만 계속 손 볼 예정이다.