서버 부하 고려한 AI 모델 재학습 스케줄링 환경 구축 (crontab)

1. 개요 졸업 작품으로 POI (Point Of Interest) 추천 시스템을 개발하기로 했다. 팀원 중 2명이 Python을 사용하여 AI 모델을 개발하는 부분을 맡았고, 데이터를 가공하여 DB에 넣고, 학습된 AI 모델을 서비스로 제공할 수 있도록 서버를 구축하는 역할을 맡았다. AI 모델의 학습 데이터로는 Yelp의 대용량 데이터셋을 사용하기로 했다. 데이터셋에는 약 900만 개의 데이터가 포함되어 있었고, 이 데이터와 새로 추가된 데이터를 사용하여 AI를 재학습해야 했다. 처음에는 Spring 서버를 띄우고, 스프링 스케줄러를 사용하여 Python 파일을 실행하여 재학습을 진행할 계획이었다. 그러나 대용량 데이터이기 때문에 다른 트래픽을 처리하는 데 문제가 될 것으로 예상됐다. 일반적으로 대용..

• format_list_bulleted devOps 💡
• · 2024. 4. 9.
• textsms

github action, docker, nginx를 활용한 무중단 배포 시 Docker Image가 업데이트 되지 않는 문제

1. 개요github action, docker와 nginx를 사용해 무중단 배포 CI/CD를 구축해뒀었다. 나는 BLUE/GREEN 방식의 무중단 배포를 적용해뒀는데, 적용 후 새로운 컨테이너가 실행되고 스프링 서버가 다 켜졌다면, 기존 컨테이너를 종료시키는 것 까지 확인했기에 잘 구축됐다 생각했다.  며칠 전 프론트엔드 팀에서 서버 연동 테스트를 해보겠다는 요청이 들어왔고 트리거를 걸어둔 브랜치에 push 해주어 배포를 시도했지만, 변경사항이 제대로 적용되지 않았다.   ec2에 들어가 원인을 살펴보았다.Nginx config 파일에 port도 잘 변경되었고, 컨테이너도 잘 실행되고 종료되는걸 확인했는데 변경 코드가 적용되지 않아 이미지가 문제인가 하고 이미지 목록을 조회했더니 이미지가 업데이트 되지..

• format_list_bulleted devOps 💡
• · 2024. 4. 5.
• textsms

[ELK] elastic stack 구축하여 로그 수집, 관리 하기 (+ spring boot)

모니터링을 위해 최근 prometheus와 grafana를 통해 metric을 수집했다. 이번엔 로그 수집을 위해 elastic stack (elastic search + logstash + kibana) + filebeat 로 로그 관리 시스템을 구축해보았다. 로그를 수집하게 되면 다음과 같은 장점이 있다. 1. 사용자 행동 분석 로그 데이터를 통해 사용자의 행동 패턴을 파악하고 이를 바탕으로 서비스 개선 및 마케팅 전략을 세울 수 있다. 2. 오류 및 버그 추적 로그를 통해 시스템 내 발생한 오류나 문제를 확인하고 추적할 수 있어, 소프트웨어의 안정성과 품질을 개선할 수 있다. 3. 성능 최적화 로그 데이터를 분석하여 데이터 베이스 작업, API 호출, 시스템 리소스 사용 등 시스템의 성능 상태를 파..

• format_list_bulleted devOps 💡
• · 2024. 1. 30.
• textsms

Prometheus & Grafana 를 통해 모니터링을 해보자 (Spring boot)

Prometheus 프로메테우스는 대상 시스템으로부터 각종 모니터링 지표를 수집하여 저장하고 검색할 수 있는 시스템이다. 프로메테우스 특징 메트릭 기반의 오픈소스 모니터링 시스템이다. 이벤트 모니터링 및 경고에 사용되는 무료 소프트웨어 응용 프로그램이다. 유연한 쿼리(PromQL) 및 실시간 경고가 가능하다. 구조가 간단해서 운영이 쉽고, 강력한 쿼리 기능을 가지고 있으며, 그라파나(Grafana)를 통한 시각화를 지원한다. ELK와 같은 로깅이 아니라, 대상 시스템으로부터 각종 모니터링 지표를 수집하여 저장하고 검색할 수 있는 시스템이다. 프로메테우스가 주기적으로 exporter(모니터링 대상 시스템)로부터 pulling 방식으로 메트릭을 읽어서 수집한다. 메트릭이란? 수집하는 시계열 데이터를 말한다...

• format_list_bulleted devOps 💡
• · 2024. 1. 22.
• textsms

무중단 배포 적용하기 (SpringBoot, Docker, Nginx, GithubAction)

무중단 배포란? 무중단 배포는 사용자에게 서비스 중단 없이 새로운 버전의 소프트웨어를 배포하는 방법입니다. 서비스를 운영 중일 때 새로운 버전을 배포하기 위해서는 1. 기존 서비스를 종료 2. 새로운 서비스 시작 두개의 프로세스를 지나쳐야 한다. 이렇게 되면 1번과 2번 사이의 과정에서 다운타임이 필연적으로 발생하며, 다운타임 동안 사용자들은 서비스를 이용할 수 없다. 이 다운타임을 해결해주는 방법이 바로 무중단 배포이다. 즉, 말그대로 중단이 없는 배포를 무중단 배포이다. 다운타임 시스템을 이용할 수 없는 시간. 무중단 배포 구현 방식에는 여러가지 기술이 존재한다. - AWS에서 Blue-Greem 무중단 배포 - 도커를 이용한 무중단 배포 - L4, L7 스위치를 이용한 무중단 배포 - Nginx를 ..

• format_list_bulleted devOps 💡
• · 2023. 12. 27.
• textsms

스프링 Docker, githubaction 사용하여 배포 자동화(CI/CD) 파이프라인 구축

이전에 진행했던 프로젝트때도 그렇고 이번 프로젝트에도 ci-cd 파이프라인을 구축하는데 github action, AWS S3, AWS CODEDEPLOY 를 사용했다. 소프트웨어 아키텍처는 아래와 같이 구성하였다. 하지만 이는 세팅 과정이 너무 길고 복잡하다는 생각이 들었다. 더 좋은 방법이 없을까 찾아보다 Docker를 사용하기로 했고 이전과 달리 너무 편해진 파이프라인 구축 과정을 기록하기 위해 글을 쓴다. 그 전에 cicd에 대해 알아보자 CICD 란 무엇인가? CI/CD는 애플리케이션 개발 단계부터 배포 때까지의 모든 단계를 자동화를 통해서 좀 더 효율적이고 빠르게 사용자에게 빈번히 배포할 수 있는 것을 말한다. CI (Continuous Integration) CI (Continuous Int..

• format_list_bulleted devOps 💡
• · 2023. 12. 1.
• textsms