Skip to Content
데이터 엔지니어를 위한 97가지 조언
book

데이터 엔지니어를 위한 97가지 조언

by Tobias Macey, 임혜연(Lim Hye Yeon)
November 2023
Beginner to intermediate
344 pages
3h 47m
Korean
Gilbut
Content preview from 데이터 엔지니어를 위한 97가지 조언

49 데이터 레이크는 ACID를 제공하지 않으므로 조심하라

 

아이나트 오어(Einat Orr)

최신 데이터 레이크 아키텍처는 레이크로 사용하는 오브젝트 스토리지에 기반하며, 데이터를 레이크에 넣는 데 스트리밍 및 복제 기술을 활용하고, 레이크에서 직접 데이터를 가져가서 소비하거나 레이크를 보존용 스토리지로 사용하는 풍성한 애플리케이션 생태계를 제공합니다. 이 아키텍처는 비용 효율적이며 데이터를 수집하고 소비할 때 단위 시간당 처리량을 늘릴 수 있습니다.

그런데도 데이터 작업이 여전히 어려운 이유는 무엇일까요? 여기에는 몇 가지 이유가 있습니다.

 

• 격리를 고려하지 않았습니다. 격리를 보장하려면 권한을 사용하거나 데이터를 복사해야 합니다. 권한을 사용하면 데이터를 유용하게 사용할 수 있는 모든 사람의 접근을 허용하게 되어 데이터의 가치를 극대화하는 능력이 감소합니다. 복사 또한 레이크에서 무엇이 어디에 있는지 추적할 수 없기 때문에 관리하기 어렵습니다.

• 원자성이 없습니다. 안전하게 수행될 트랜잭션에 의존할 수 없다는 말입니다. 이를테면 데이터 기록을 마치기 전에 누구도 그 컬렉션을 읽지 못하도록 하는 내재된 수단이 없습니다.

• 컬렉션 간 일관성을 보장할 수 없습니다. 심지어 어떤 경우에는 단일 컬렉션 내에서도 일관성을 보장할 수 없습니다. ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

클라우드 엔지니어를 위한 97가지 조언

클라우드 엔지니어를 위한 97가지 조언

Emily Freeman, Nathen Harvey, 정기훈(Jung Ki Hun)
데이터 익명화를 위한 파이프라인

데이터 익명화를 위한 파이프라인

루크 아버클, 칼리드 엘 에맘
파이썬 라이브러리를 활용한 텍스트 분석

파이썬 라이브러리를 활용한 텍스트 분석

젠스 알브레히트, 싯다르트 라마찬드란, 크리스티안 윙클러

Publisher Resources

ISBN: 9791140706815