서버 부하 고려한 AI 모델 재학습 스케줄링 환경 구축 (crontab)

 

 

 

1. 개요

졸업 작품으로 POI (Point Of Interest) 추천 시스템을 개발하기로 했다.

 

팀원 중 2명이 Python을 사용하여 AI 모델을 개발하는 부분을 맡았고, 

데이터를 가공하여 DB에 넣고, 학습된 AI 모델을 서비스로 제공할 수 있도록 서버를 구축하는 역할을 맡았다. 

 

AI 모델의 학습 데이터로는 Yelp의 대용량 데이터셋을 사용하기로 했다. 데이터셋에는 약 900만 개의 데이터가 포함되어 있었고, 이 데이터와 새로 추가된 데이터를 사용하여 AI를 재학습해야 했다.

 

처음에는 Spring 서버를 띄우고, 스프링 스케줄러를 사용하여 Python 파일을 실행하여 재학습을 진행할 계획이었다. 그러나 대용량 데이터이기 때문에 다른 트래픽을 처리하는 데 문제가 될 것으로 예상됐다.

 

일반적으로 대용량 데이터 처리에는 Spring Batch를 사용하여 Chunk 처리를 하지만, 저희 프로젝트에서는 이를 사용하기 어려웠다. 데이터베이스에 있는 데이터를 모두 가져온 뒤에 AI 모델을 학습시키는 것이기 때문에 서버 측면에서는 Python 파일 하나를 실행하는 것 이외에는 할 수 있는 방법이 없었다.

 

 

 

고민 끝에, 스케줄링을 맡아 하는 서버 하나, 애플리케이션이 돌아가는 서버 하나, 이렇게 총 2개의 서버를 운용하기로 했다.  

spark를 활용한 분산처리도 생각해봤는데 파이썬 학습 코드에서나 적용할 수 있는거라 우선은 위 방법대로 구현해보기로 했다.

 

 

최종 아키텍처는 아래 사진과 같다

 

 

 

 

 

 

 

2. 크론탭(crontab)

스프링의 스케줄링은 이전에도 많이 써봤지만 리눅스나 유닉스 환경에서 가볍게 스케줄링을 할 수 있는 크론탭에 대해선 처음 알게되었고, 무겁게 스프링 서버를 띄워 스케줄링으로만 사용하는 것 보단 좋다고 생각하여 도입하게 되었다. 

 

 

크론탭이란??

리눅스나 유닉스 환경에서 실행 프로그램을 설정한 시간에 자동으로 실행할 수 있도록 설정해주는 프로그램이다. 

실행 환경을 설정하고 유지 관리하기 위한 시간, 날짜 또는 간격을 지정하여 주기적으로 프로그램을 실행가능하다. 

시스템 유지관리를 위한 자동화를 위해 이용되고 파일 다운로드나 정기적 이메일 다운로드를 위한 작업에도 많이 사용되고 있다.

 

크론탭 설치는 아주 간단하게 할 수 있다.

 

크론탭 설치

$ sudo apt install cron # 크론탭 설치
$ sudo service cron status # status 확인, 정상: active
$ sudo service cron start # 크론탭 서비스 시작

 

 

작업 할당

 $ crontab -e

 

 

할당된 작업 리스트 확인

$ crontab -l

 

 

 

몇 줄만 추가하면 정말 간단하게 스케줄링 등록할 수 있었다. 

 

작업 할당하는 방법에 대해 자세하게 알아보자.

 

나는 쉘 스크립트 파일을 스케줄링에 등록했다. 

테스트용으로 등록했기 때문에 1분마다 돌아가도록 설정해주었다. 

아래 명령어는 "1분마다 /home/kevin/scheduler/test.sh 파일을 source 명령어로 실행시켜라" 이다.

* * * * * source /home/kevin/scheduler/test.sh

 

 

크론 형식은 다음과 같다.

   *          *          *         *          *
분(0-59)  시간(0-23)  일(1-31)   월(1-12)   요일(0-7)

위와 같이 모두 별표시면 매분, 매시간, 매일, 매월, 매요일을 의미한다. 요일은 0, 7은 일요일을 의미하며 월요일은 1, 토요일은 6에 해당한다.

 

아래는 몇가지 예시이다.

// 크론탭 주기
* * * * * {실행 명령}


// 위 순서대로 분 시 일 월 요일 {실행 명령}
분 : 0-59
시 : 0-23
일 : 0-31
월 : 0-12
요일 : 0-6 (일-토 : 0과 7은 일요일이며 1부터 월요일)


// 매 분마다 실행
* * * * * {실행 명령} or /1 * * * * {실행 명령}


// 매 시 정각에 실행
0 * * * * {실행 명령}


// 매일 오후 13시 정각에 실행
0 13 * * * {실행 명령}


// 매주 월요일 자정에 실행
0 0 * * 1 {실행 명령}


// 매달 5일 자정에 실행
0 0 5 * * {실행 명령}


// 매시 25분, 55분에 실행
25,55 * * * * {실행 명령}


// 15분마다 실행
 */15 * * * * {실행 명령}


// 매일 3시에 실행
0 3 * * * {실행 명령}


// 매 6시간마다(00:30, 06:30, 12:30, 18:30) 실행
30 */6 * * * {실행 명령}


// 1시부터 매 6시간마다(01:30, 07:30, 13:30, 19:30) 실행
30 1-23/6 * * * {실행 명령}


// 평일(월요일~토요일) 06:00에 실행
0 6 * * 1-6 {실행 명령}


// 토요일 07:00에 실행
0 7 * * 6 {실행 명령}

 

 

크론탭 재시작

crontab 설정 변경 후 항상 cron 서비스를 재시작해야 한다.

아래 명령어중 하나를 실행하면된다.

 

cron restart 가 안된다 crond restart 를 사용하면 된다.

service cron restart

service crond restart

 

password를 치고 재시작 해주자

 

 

 

 

 

 

 

2. SCP

위에서 크론탭으로 쉘 스크립트를 주기적으로 시켰는데,

파이썬 코드가 아닌 쉘 스크립트를 실행시킨 이유는 파이썬 코드를 돌려 나온 결과 파일(추천 모델)을 스프링 서버로 전송해줘야하기 때문이다. 

 

 

아직 ai 담당 팀원들도 개발 중이기 때문에 완성됐다 가정하고 테스트를 진행해보았다.

 

내 쉘 스크립트 코드와 파이썬 코드는 아래와 같다.

 

- test.sh

python3 /home/kevin/scheduler/batch.py

# 파이썬 스크립트 실행 후 생성된 result.txt 파일을 xxx 호스트로 전송합니다.
scp /home/kevin/scheduler/result.txt kevin@*.*.*.*:/home/kevin

 

- batch.py

# 파일 open
with open("/home/kevin/scheduler/result.txt", "w") as file:
    for i in range(10):
        file.write("test\n")

 

 

SCP를 해주기 위해선 목적 서버에 비밀번호를 입력해야하기 때문에 이 과정을 생략하기 위해 공개키를 등록해주었다.

 

ssh-keygen -t rsa

위 명령을 입력하면 몇가지를 물어보는데 특별한 이유가 없다면 그냥 엔터를 계속 눌러서 완료하면 된다. 이렇게 생성하고나면 개인키는 ~/.ssh/id_rsa로 공개키는 ~/.ssh/id_rsa.pub로 생성된다. 이제는 공개키를 보내려는 목적지 서버에 등록해야 한다.

 

scp /userId/.ssh/id_dsa.pub [host명]@[ip]:/home/kevin

 

목적지 이동 후 공개키가 잘 있는지 확인하고 등록해준다.

authorized_keys 라는 파일을 만든후 내용을 추가하는데, authorized_keys 파일이 다른 컴퓨터의 키를 저장하고 있을 수 있기때문에, 파일에 이미 내용이 있다면 (새파일을 덮어쓰지않고) 공개키 파일 내용을 뒤에 추가해야 한다.

 

cat id_dsa.pub >> /userId/.ssh/authorized_keys

 

 

보안을 위해 퍼미션을 변경

$ chmod 700 /userId/.ssh/

$ chmod 644 /userId/.ssh/authorized_keys

 

 

 

 

 

이렇게 테스트는 끝이났다. 

 

 

대용량 데이터를 다룬 경험이 처음이라 데이터셋 가공과 DB 대량 삽입 등 예상치 못한 어려움이 있었다. 또한 인덱싱의 중요성을 절실히 느낄 수 있었다.  인덱싱을 하지 않았을 때의 차이는 정말 어마무시....

 

내가 생각해낸 방식이 최선인지에 대한 의문이 들었고, 여러 사람들에게 조언을 구하고 알아보았지만, 마땅히 다른 해결책을 찾지 못했다.

 

남은 졸작 기간동안 더 좋은 방법이 있나 계속 찾아볼 예정이다..