Neo4j와 함께한 일렉트릭하모니의 여정은 그야말로 혁신적이었습니다. 아티스트, 앨범, 사용자 선호도를 매핑하기 위한 실험적인 그래프 데이터베이스로 시작한 것이 지금은 추천 엔진의 핵심 구성 요소가 되었습니다. 이 팀은 실시간 음악 검색, 재생 목록 큐레이션, 아티스트 관계 매핑을 성공적으로 구축했으며, 이 모든 것은 복잡한 연결을 초고속으로 탐색하는 Neo4j의 기능을 기반으로 합니다.
하지만 성공에는 규모가 따르고, 규모에는 위험이 따릅니다.
일렉트릭하모니의 사용자 기반이 폭발적으로 증가함에 따라 그래프 데이터베이스도 함께 증가했습니다. 매일 수백만 개의 관계가 생성되고 업데이트되기 때문에 다운타임은 더 이상 선택 사항이 아닙니다. 엔지니어링 팀은 쿼리를 최적화하고, 인덱스를 조정하고, Neo4j를 프로덕션에 배포했지만, 한 가지 중요한 부분이 남아있습니다. 바로 강력한 백업 및 복구 전략입니다.
쓰기 경로
백업 전략에 대해 자세히 알아보기 전에, Neo4j가 데이터를 어떻게 쓰고 데이터를 어떻게 보존하는지 이해하는 것이 중요합니다. Neo4j의 트랜잭션 수명 주기는 내구성과 일관성을 보장하기 위해 구조화된 순서를 따릅니다.
2장에서 데이터베이스에서 변경이 이루어지면 트랜잭션이 시작된다는 점을 기억하세요. 이러한 변경 사항은 처음에 메모리에 적용되고 페이지 캐시에 저장되며, 페이지 캐시는 데이터가 최종적으로 디스크에 기록되기 전에 중개 계층 역할을 합니다.
트랜잭션이 커밋되기 전에 변경 사항을 트랜잭션 로그( )에 기록해야 하는데, 이를 미리 쓰기 로깅 (WAL)이라고도 합니다. 이 단계는 트랜잭션 디렉터리 아래에 있는 별도의 순차적 로그 파일에 수정 사항을 기록하여 내구성을 보장합니다.
트랜잭션 로그 항목이 디스크에 영구적으로 기록되면 시스템에서 트랜잭션 을 커밋된 것으로 표시합니다. 이렇게 하면 장애 발생 시 변경 내용을 복구할 수 있습니다. 커밋 작업은 트랜잭션을 완료하여 변경 내용을 공식적으로 표시하고 시스템에서 후속 요청을 진행할 수 있도록 합니다.
체크포인트
Neo4j의체크포인트는 데이터베이스의 하우스키핑 프로세스( )의 일부입니다. 트랜잭션 로그는 모든 변경 사항을 기록하여 내구성을 보장하지만, 체크포인트는 페이지 캐시에서 더티 페이지(커밋된 트랜잭션으로 수정된 페이지)를 스토어 파일로 플러시하여 복구 시간을 최적화하는 데 도움이 됩니다. 체크포인트 동안 Neo4j는 모든 변경 사항이 저장 파일에 반영된 최신 로그 위치를 기록합니다. 이를 통해 시스템은 전체 로그를 재생할 필요 없이 트랜잭션 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
