Blue/Green 무중단 배포 시 구버전의 애플리케이션은 언제 종료해야 할까? (graceful shutdown)

1. 개요진행 중인 Jikgong 서비스에서 Nginx를 사용하여 Blue/Green  무중단 배포 전략을 사용하여 배포 시 다운 타임을 최소화 시켰다.  그 과정에서 작성한 deploy.sh 파일엔 다음과 같은 코드가 작성되어있다. # 기존에 실행 중이었던 docker-compose는 종료시켜줍니다.echo "jikgong-${TERMINATE_CONTAINER} down"sudo docker-compose -f docker-compose.${TERMINATE_CONTAINER}.yml down --rmi all 이 부분이 문제였다. 현재 사용 중인 Blue/Green 방식의 무중단 배포 프로세스를 간략하게 설명하면 1. 새로운 버전의 애플리케이션 구동2. 지속적인 헬스체크로 구동 완료 확인3. 구동 ..

• format_list_bulleted devOps 💡
• · 2024. 7. 28.
• textsms

AWS RDS에 안전하게 접근해보자 (EC2 터널링)

1. 개요최근 아무생각없이 RDS를 퍼블릭으로 열어뒀다가 욕(?)을 먹고 수정한 과정에 대해 공유하고자 한다.     2. 퍼블릭 액세스 허용 여부블로그를 참고해 RDS를 만드신 분들은 대부분 퍼블릭 액세스를 허용했을 거라 생각이 든다. "RDS 퍼블릭 액세스" 라는 키워드로 구글링 해보면 다음과 블로그들이 많이 보인다.   예전에 나도 로컬 환경에서 RDS에 접근하려 하는데 접근이 막혔고 구글링해서 퍼블릭 액세스를 열어줬던 기억이 난다.  하지만 외부에서 DB에 접근 가능하도록 허용하는건 위험하다. EC2 인스턴스를 만들어서 RDS 사용할 것이라면 외부에서 접속할 수 없도록 하는 것이 더욱 안전한 방법이다. 퍼블릭 액세스를 막을 경우 외부에서 접근할 방법이 없지 않느냐? 할 수 있는데 이는 같은 VPC..

• format_list_bulleted devOps 💡
• · 2024. 6. 8.
• textsms

성능 테스트, 부하 테스트, 스트레스 테스트 차이

1. 개요여러 리펙토링을 거치면서 성능 개선을 해나가던 중, 성능을 수치화할 필요성을 느꼈다. 성능 테스트, 부하 테스트, 스트레스 테스트는 시스템의 성능과 안정성을 평가하는 중요한 도구들이다. 각 테스트의 정의와 목적, 그리고 이를 통해 얻을 수 있는 이점에 대해 알아보고자 한다.    2. 성능 테스트 (Performance Test)성능 테스트는 특정 상황에서 시스템의 구성 요소가 어떻게 수행되는지 확인하기 위해 수행되는 테스트이다. 성능 테스트를 통해 시스템의 자원의 사용량, 확장성, 신뢰성 등을 검증할 수 있다.  일반적으로 개발을 하면서 부하 테스트와 스트레스 테스트 등의 키워드를 많이 접해봤을 것이다. 아래의 사진을 보면 해당 테스트들은 모두 성능 테스트 하위에 있는 것을 알 수 있다. 그만..

• format_list_bulleted devOps 💡
• · 2024. 5. 15.
• textsms

PromTail, Loki, Grafana로 로그 수집 환경 구축

1. 개요로그 수집을 하기 위한 솔루션이라고 하면 당연히 ELK(Elasticsearch, Logstash, Kibana)를 떠올릴 수 있다. 하지만 무거운 ELK를 감당하기엔 서버 스펙이 낮았고, 비교적 가볍게 실행할 수 있는 PromTail, Loki, Grafana를 도입하게 되었다.  또한 메트릭 수집은 Prometheus, Grafana로 이미 진행하고 있었기 때문에 도입의 근거는 더욱 명확했다.   어쩌다보니 로그 수집 환경 구축만 3번째이다. Cloud Watch, ELK, Loki..       2. Grafana & Promtail & Loki 설치 Grafana는 오픈 소스로 제공되는 대시보드 및 시각화 플랫폼이다. 그라파나는 다양한 데이터소스로부터 데이터를 가져와서 대시보드와 그래프 ..

• format_list_bulleted devOps 💡
• · 2024. 5. 8.
• textsms

메모리 사용량 임계치 도달 시 Slack으로 알림 받아보기 (Grafana Alert)

1. 개요예전에 프로메테우스, 그라파나를 도커로 띄워 스프링 부트 모니터링 환경을 구축했었다. 하지만 모니터링을 매번 눈으로만 하기는 힘들다. 그라파나에선 쿼리를 통해 slack, email 등 여러 서비스로 알림을 보내줄 수 있다.  사실 처음 모니터링 환경을 구축했을 때도 slack으로 알림을 보내도록 하고싶었는데, PromQL 다루는데 미숙해서 실패했었다.  이번에 깔끔하게 정리해서 기록해두려 한다.       2. Slack 설정먼저 알람 메시지를 Slack으로 전달받기 위해 Slack의 Web Hook 을 생성해야 한다.   Slack App 생성하기 Slack API 홈페이지에 접속한 후 로그인 해준다. 로그인이 완료되었다면, Create New App 버튼을 클릭해 Slack App을 생성해..

• format_list_bulleted devOps 💡
• · 2024. 4. 25.
• textsms

서버 부하 고려한 AI 모델 재학습 스케줄링 환경 구축 (crontab)

1. 개요 졸업 작품으로 POI (Point Of Interest) 추천 시스템을 개발하기로 했다. 팀원 중 2명이 Python을 사용하여 AI 모델을 개발하는 부분을 맡았고, 데이터를 가공하여 DB에 넣고, 학습된 AI 모델을 서비스로 제공할 수 있도록 서버를 구축하는 역할을 맡았다. AI 모델의 학습 데이터로는 Yelp의 대용량 데이터셋을 사용하기로 했다. 데이터셋에는 약 900만 개의 데이터가 포함되어 있었고, 이 데이터와 새로 추가된 데이터를 사용하여 AI를 재학습해야 했다. 처음에는 Spring 서버를 띄우고, 스프링 스케줄러를 사용하여 Python 파일을 실행하여 재학습을 진행할 계획이었다. 그러나 대용량 데이터이기 때문에 다른 트래픽을 처리하는 데 문제가 될 것으로 예상됐다. 일반적으로 대용..

• format_list_bulleted devOps 💡
• · 2024. 4. 9.
• textsms