github action, docker, nginx를 활용한 무중단 배포 시 Docker Image가 업데이트 되지 않는 문제

1. 개요

github action, docker와 nginx를 사용해 무중단 배포 CI/CD를 구축해뒀었다. 나는 BLUE/GREEN 방식의 무중단 배포를 적용해뒀는데, 적용 후 새로운 컨테이너가 실행되고 스프링 서버가 다 켜졌다면, 기존 컨테이너를 종료시키는 것 까지 확인했기에 잘 구축됐다 생각했다. 

 

며칠 전 프론트엔드 팀에서 서버 연동 테스트를 해보겠다는 요청이 들어왔고 트리거를 걸어둔 브랜치에 push 해주어 배포를 시도했지만, 변경사항이 제대로 적용되지 않았다.

 

 

ec2에 들어가 원인을 살펴보았다.

Nginx config 파일에 port도 잘 변경되었고, 컨테이너도 잘 실행되고 종료되는걸 확인했는데 변경 코드가 적용되지 않아 이미지가 문제인가 하고 이미지 목록을 조회했더니 이미지가 업데이트 되지 않았다. 

 

원인과 해결했던 방법을 기록해두려 한다. 

 

 

 

 

 

2. 원인

아래는 기존에 작성했던 무중단 배포 관련 코드들이다. 

- deploy.yml (일부)

- name: Build jikgong-a Docker Image
  run: docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/jikgong .

- name: Push jikgong-a Docker Image
  run: docker push ${{ secrets.DOCKERHUB_USERNAME }}/jikgong

 

- deploy.sh

RUNNING_CONTAINER=$(sudo docker ps)
echo "실행중인 컨테이너 목록: ${RUNNING_CONTAINER}"

# 실행 중인 도커 컴포즈 확인
EXIST_A=$(sudo docker ps -q -f name=jikgong-a)

echo "EXIST_A 값: ${EXIST_A}"

if [ -z "${EXIST_A}" ] # -z는 문자열 길이가 0이면 true. A가 실행 중이지 않다는 의미.
then
        # B가 실행 중인 경우
        START_CONTAINER=a
        TERMINATE_CONTAINER=b
        START_PORT=8080
        TERMINATE_PORT=8081
else
        # A가 실행 중인 경우
        START_CONTAINER=b
        TERMINATE_CONTAINER=a
        START_PORT=8081
        TERMINATE_PORT=8080
fi

echo "jikgong-${START_CONTAINER} up"

# 실행해야하는 컨테이너 docker-compose로 실행. -p는 docker-compose 프로젝트에 이름을 부여
# -f는 docker-compose파일 경로를 지정
sudo docker pull ${DOCKERHUB_USERNAME}/jikgong
sudo docker-compose -f docker-compose.${START_CONTAINER}.yml up -d --build

RUNNING_CONTAINER=$(sudo docker ps)
echo "실행중인 컨테이너 목록: ${RUNNING_CONTAINER}"

for cnt in {1..10} # 10번 실행
do
        echo "check server start.."

        # 스프링부트에 등록했던 actuator로 실행되었는지 확인
        UP=$(curl -s http://127.0.0.1:${START_PORT}/jikgong/health | grep 'UP')
        if [ -z "${UP}" ] # 실행되었다면 break
        then
                echo "server not start.."
        else
                break
        fi

        echo "wait 10 seconds" # 10 초간 대기
        sleep 10
done

if [ $cnt -eq 10 ] # 10번동안 실행이 안되었으면 배포 실패, 강제 종료
then
        echo "deployment failed."
        exit 1
fi

echo "server start!"
echo "change nginx server port"

# sed 명령어를 이용해서 아까 지정해줬던 service-url.inc의 url값을 변경해줍니다.
# sed -i "s/기존문자열/변경할문자열" 파일경로 입니다.
# 종료되는 포트를 새로 시작되는 포트로 값을 변경해줍니다.
sudo sed -i "s/${TERMINATE_PORT}/${START_PORT}/" /etc/nginx/conf.d/service-url.inc

# 새로운 포트로 스프링부트가 구동 되고, nginx의 포트를 변경해주었다면, nginx 재시작해줍니다.
echo "nginx reload.."
sudo service nginx reload

# 기존에 실행 중이었던 docker-compose는 종료시켜줍니다.
echo "jikgong-${TERMINATE_CONTAINER} down"
sudo docker-compose -f docker-compose.${TERMINATE_CONTAINER}.yml down --rmi all

# 컨테이너에 사용되지 않는 이미지 전부 제거
sudo docker image prune -af
EXIST_IMAGES=$(sudo docker images)
echo "현재 이미지 리스트: ${EXIST_IMAGES}"

echo "success deployment"

 

- docker-compose-a.yml

version: "3.8"
services:
  jikgong-a:
    container_name: jikgong-a
    image: ${DOCKERHUB_USERNAME}/jikgong
    volumes:
      - ./logs:/logs
    env_file:
      - .env
    ports:
      - "8080:8080"
    restart: always

networks:
  default:
    external:
      name: jikgongnet

 

 

- docker-compose.b.yml

version: "3.8"
services:
  jikgong-b:
    container_name: jikgong-b
    image: ${DOCKERHUB_USERNAME}/jikgong
    volumes:
      - ./logs:/logs
    env_file:
      - .env
    ports:
      - "8081:8080"
    restart: always

networks:
  default:
    external:
      name: jikgongnet

 

위 코드를 간단하게 요약하면

docker compose 파일이 두 개가 있고, 기존에 A가 실행 중이었다면, B를 실행시킨다. 

B의 어플리케이션 서버가 다 켜지면 nginx의 포워딩 포트를 B로 바꿔주고 컨테이너 A를 종료시킨다.

종료 시킨 후 사용하지 않는 이미지를 전부 제거한다.

 

 

언뜻보면 정상적인 로직 같지만 한가지 문제점이 있다.

 

deploy.yml에서 image를 build할 때 이름을 jikgong으로 세팅한다. 

이대로 docker hub에 푸쉬하면 정상적으로 새로운 이미지로 업데이트 되지만, docker-compose.yml을 실행 중 image를 pull 받을 때 이미 이전에 같은 이름의 image가 존재해 pull을 받지 못 했다. 

 

원래 image가 기존에 있더라도 새롭게 pull 받으면 로컬의 image가 업데이트 되는게 맞지만, 무중단 배포를 적용했을 땐 조금 다르다.

 

기존 image로 컨테이너를 실행중이기 때문에 이 image를 업데이트 하는 건 불가능한 것 같았다.

 

 

 

 

 

3. 해결 방안

이미지 이름이 같고, 기존 이미지로 컨테이너가 실행 중이라 업데이트를 시키지 못하기 때문에 이름이 서로 다른 2개의 이미지를 각각 docker hub에 push하고 docker-compose.yml 파일에서 하나씩 불러오도록 수정해주었다. 

 

- deploy.yml (일부)

# 무중단 배포 시 기존 이미지로 실행되는 것을 막기 위해 a, b로 나눔
- name: Build jikgong-a Docker Image
  run: docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/jikgong-a .

- name: Push jikgong-a Docker Image
  run: docker push ${{ secrets.DOCKERHUB_USERNAME }}/jikgong-a

- name: Build jikgong-b Docker Image
  run: docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/jikgong-b .

- name: Push jikgong-b Docker Image
  run: docker push ${{ secrets.DOCKERHUB_USERNAME }}/jikgong-b

 

 

image pull 부분 수정

- docker-compose-a.yml

version: "3.8"
services:
  jikgong-a:
    container_name: jikgong-a
    image: ${DOCKERHUB_USERNAME}/jikgong-a
    volumes:
      - ./logs:/logs
    env_file:
      - .env
    ports:
      - "8080:8080"
    restart: always

networks:
  default:
    external:
      name: jikgongnet

 

 

- docker-compose.b.yml

version: "3.8"
services:
  jikgong-b:
    container_name: jikgong-b
    image: ${DOCKERHUB_USERNAME}/jikgong-b
    volumes:
      - ./logs:/logs
    env_file:
      - .env
#    logging:
#      driver: awslogs
#      options:
#        awslogs-group: "jikgong-logs"
#        awslogs-region: "ap-northeast-2"
#        awslogs-stream: "jikgong-stream"
    ports:
      - "8081:8080"
    restart: always

networks:
  default:
    external:
      name: jikgongnet

 

 

 

 

 

 

4. 결론

github action, nginx, docker 조합으로 무중단 배포 CI/CD를 구축하는 개발자들이 꽤나 많다고 생각했고, 그 분들도 다들 나와 같은 문제를 겪지 않았을까? 싶었는데 아직 그런 블로그 글은 찾지 못했다.  

 

 

사실 내가 해결한 방식인 두 개의 image를 build하고 각각 push 하는 건 그렇게 좋은 해결 방안이라곤 생각들지 않는다. 

다른 더 좋은 방법이 없나 구글링, 현직자 분들 에게도 여쭤봤지만, 특별히 다른 방안이 없는 것 같다. 

 

젠킨스 사용 시 jenkinsfile 스크립트로 해결할 수 있을 것 같다는 분은 계셨지만, 토이 프로젝트엔 github action으로도 충분하다 생각이 들어 우선은 위 방법으로 해결하기로 결정했다.