
311
8
장
경력 조언과 앞으로의 진로
예측 작업을 수행하기 위해 데이터베이스가 필요하다고 가정해봅시다. 서드 파티 데이터베이
스의 연결 상태가 좋지 않아 다운타임
2
과 끊김이 자주 발생합니다. ‘작동하게만 해달라’는 말이
가장 듣고 싶지 않지만, 현재 그런 상황이 되어버렸습니다. 데이터베이스를 로컬로 복제하는
것을 고려하지만 그렇게 하려면 하루에
40GB
를 저장해야 하므로 서버 또는 클라우드 인스턴
스가 필요합니다. 이제
IT
예산이 없는
IT
부서가 되어 버렸네요.
이러한 상황에서는 프로젝트를 손상하지 않고 비용을 절감하는 방법을 고민해야 합니다. 최신
데이터만 보관하고 나머지는 삭제할 수 있을까요? 연결이 끊어지면 다시 연결하는 동시에 데
이터를 일괄적으로 분리해 마지막으로 성공한 배치부터 가져오도록 오류 처리 파이썬 스크립
트를 만들 수 있을까요?
이번 문제와 해결책이 상당히 구체적이지 않나요? 네, 필자가 이렇게 해야만 했고, 효과가 있
었습니다! 더 많은 비용을 들이지 않고도 해결책을 찾아내 프로세스를 간소화할 수 있다면 만
족스러운 일입니다. 하지만 많은 데이터 프로젝트에는 데스크톱 컴퓨터로는 제공할 수 없는 데
이터 파이프라인, 서버, 클러스터,
GPU
기반 워크스테이션 및 기타 컴퓨팅 자원이 필요할 수
있습니다. 다시 말해, 이러한 해결책은 비용이 ...