[Neo4j] Graph Database란? RDBMS와 비교, neo4j 도입 이유

1. 개요 RDBMS만 써보던 나에게 Graph Database를 쓸 기회가 찾아왔다. 왜 Graph Database를 도입하기로 했는지에 대해 정리하고자 이 글을 쓴다. 4학년이 되었고 나는 졸업 작품 주제로 컨텐츠 정보를 활용한 개인화 POI 추천 서비스 로 선정하였다. 기존의 개인화 POI 추천 시스템은 Collaborative Filterin이 주류이고 이는 행동 데이터에만 의존하고 있어, POI의 다양한 컨텐츠 정보(평점, 리뷰, 사진, 지리적 거리 등)을 전혀 고려하지 못한다. 이런 문제점을 해결하기 위해 프로젝트를 시작하게 되었다. ai 학습 데이터로 yelp의 오픈 데이터셋을 사용하기로 했다. 웹 관련된 프로젝트만 진행하다 ai, ml과 섞인 프로젝트를 하니 데이터의 크기가 어마무시했다. ..

• format_list_bulleted DB 🔑
• · 2024. 3. 27.
• textsms

[Spring Batch] Paging 기반의 ItemReader 사용 시 발생하는 데이터 건너뛰기 현상 (해결 방법 2가지)

1. 문제 상황 데이터베이스를 기준으로 ItemReader의 구현체를 나눌 때, Cursor Based ItemReader과 Paging Based ItemReader으로 나눌 수 있다. Cursor 기반의 ItemReader의 경우, 데이터베이스 커넥션을 지속적으로 독점으로 사용하여 처리가 완료되는 시점까지 커넥션을 놓아주지 않기 때문에, 경우에 따라 성능상에 영향을 줄 수 있다. 따라서 Paging 기반의 ItemReader를 선택했고 최근에 스케줄러와, 배치 로직을 개발했다. 하지만 실제 로직 수행 결과는 원하는데로 되지 않았고, 몇 개의 데이터를 건너뛴채로 수행되었다. 나의 배치 로직은 특정 조건을 만족하면 PENDING 중이던 Apply를 CANCELED로 변경해주는 것이다. 사진에서 work_..

• format_list_bulleted Spring Boot, JAVA 🌱
• · 2024. 3. 15.
• textsms

[Spring Batch] ItemReader cursor vs paging

1. 개요이전 프로젝트에서 일괄적으로 알림을 보내는 기능을 개발했었는데 기능 구현을 위해 스프링 배치를 학습했었다. 그때도 ItemReader의 종류가 여러가지 있는 건 알았지만 우선 아무거나 선택해 구현했었는데 이번 기회에 제대로 알아보려고 한다.    2. Spring Batch Chunk?Spring Batch에서 일괄 처리를 하는 방법은 크게 두가지가 있다. 바로 Tasklet 기반과 Chunk 기반인데 ItemReader은 Chunk 방식에서 사용되는 것이다. ItemReader에 학습하기 앞서 Chunk에 대해 가볍게 알아보자.  Spring Batch에서의 Chunk란 데이터 덩어리로 작업 할 때 각 커밋 사이에 처리되는 row 수를 얘기한다. 즉, Chunk 지향 처리란 ..

• format_list_bulleted Spring Boot, JAVA 🌱
• · 2024. 3. 11.
• textsms

[Redis] redis에서 데이터 영구 저장하는 방법 (RDB / AOF)

1. Redis 데이터의 영속성 Redis는 In-memory DB 임에도 불구하고, 메모리 데이터를 디스크에 저장할 수 있는 특징이 있다. 그래서 redis가 꺼졌다가 재시작 되더라도, 디스크에 저장해놓은 데이터를 다시 읽어 메모리에 로딩하기 때문에 데이터가 유실되지 않는다. 이런 영속성 기능은 휘발성 메모리 DB를 데이터 스토어로서 활용한다는 장점이 있지만 이 기능 때문에 장애의 주 원인이 되기도 한다. Redis에서 데이터를 저장하는 방법은 크게 RDB (snapshotting) 방식과 AOF (Append only file) 두가지가 있다. RDB 방식 특정한 각격마다 메모리에 있는 레디스 데이터 전체를 디스크에 쓰는 것 AOF 방식 명령이 실행될때 마다 데이터를 파일에 기록하여 데이터의 손실이 ..

• format_list_bulleted DB 🔑
• · 2024. 3. 9.
• textsms

JPA 1차 캐싱을 이용한 성능 튜닝, 그리고 1차 캐싱이 되지 않는 경우와 우회법

1. 서론 진행중인 프로젝트에서 아래 사진과 같은 기능을 구현하게 되었다. 기능 설명부터 간단히 하면 본인이 올린 공고글이 있으면 특정 노동자에게 일자리를 제안할 수 있는 기능이다. 이때 노동자의 출역 가능한 날짜와 공고글의 출역 날짜를 비교하여 제안할 수 있다. 기업은 노동자에게 일자리를 제안할 때 여러 개의 공고글을 제안할 수 있다. 동시에 각 공고글은 여러 날을 선택하여 제안할 수 있다. 예를 들어 1,2,3일을 일하는 공고글 A와 2,3,4일을 일하는 공고글 B가 있고, C라는 노동자는 2일날 출역이 확정된 상황이 있다고 가정하자. 그럼 기업은 C노동자에게 공고 A의 1,3일, 공고 B의 3,4일을 제안할 수 있는 것이다. 요청 JSON은 다음과 같다. { "resumeId": 1, "offerJ..

• format_list_bulleted Spring Boot, JAVA 🌱
• · 2024. 2. 29.
• textsms

[Event] 실제 프로젝트에서 Spring Event를 적용해 복잡한 의존 관계 해소하기

Spring Event를 처음 들어본다면 아래 글을 먼저 보고 오는 것을 추천한다. https://dgjinsu.tistory.com/41 [Event] Spring Event 왜 사용할까?? 1. 이벤트를 사용하는 이유 Spring Boot에서 이벤트를 적용하는 방법에 대해 들어가기 전에, 이벤트를 왜 써야하는지, 사용하면 좋은 상황에 대해 먼저 알아보자. 회원가입을 하고 나면 가입 축하 dgjinsu.tistory.com https://dgjinsu.tistory.com/42 [Event] Spring Event 도입 시 트랜잭션 처리에 대한 고민 1. 서론 전 게시글에서 Spring Event로 의존성을 개선하는 법을 다뤄보았다. 하지만 한 트랜잭션 안에서 처리하던 것들이 흩어지면서 문제되는 부분도..

• format_list_bulleted Spring Boot, JAVA 🌱
• · 2024. 2. 23.
• textsms