Databricks의 Unity Catalog를 통한 데이터 거버넌스

10장. 규제 표준 준수

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

진보의 기술은 변화 속에서 질서를 보존하고 질서 속에서 변화를 보존하는 것입니다.

알프레드 노스 화이트헤드

B2C(기업-소비자 간 거래) 기업( )인 넥사 부티크는 사용자의 데이터를 수집하고 저장합니다. 넥사가 유럽으로 사업을 확장하면서 예상치 못한 문제에 봉착했습니다. 유럽과 영국의 데이터 개인정보 보호법이 비교적 엄격하다는 것은 잘 알려져 있지만, 유럽 외의 조직이 일반적으로 이해하지 못하는 것은 유럽의 일반 대중이 자신의 개인정보 보호에 매우 관심이 많다는 것입니다. 특히 디지털 방식으로 자신의 정보를 다른 사람과 공유하는 것에 대해 매우 신중합니다. 독일에서 10년 이상 거주한 카틱은 데이터 프라이버시에 대한 독일의 접근 방식이 인도나 미국 등 다른 국가와 비교해 극명한 차이를 보이는 것을 목격했습니다. 그 이유는 역사적 경험, 인간의 존엄성을 강조하는 문화적 가치, 강력한 권리 기반의 법적 프레임워크에 뿌리를 두고 있습니다.

우리는 엔지니어, 과학자, 기업가, 그리고 비즈니스를 소유하거나 운영하는 모든 사람들이 규제 표준과 규정 준수 요건을 좋아하지 않는 경향이 있음을 관찰했습니다. 이러한 표준과 요건은 종종 비즈니스 운영을 어렵게 만들고 상당한 시간과 노력이 필요하며, 이를 준수하지 않는 것은 선택 사항이 아닙니다. 이는 실제로 혁신을 저해하고 기업이 더 빠르게 발전하는 것을 가로막습니다. 모든 종류의 데이터 세트에 제한 없이 액세스할 수 있는 데이터 과학자나 ML 엔지니어는 필터링되고 제한된 데이터 세트만 사용할 수 있는 사람에 비해 우수한 성능의 모델을 구축할 수 있습니다. ML 모델에 더 많은 데이터를 제공할수록 더 나은 성능을 발휘합니다. 혁신을 주도하는 과학자와 엔지니어, 문제 해결에 집중하는 기업가들은 적어도 대다수에게는 민감한 데이터를 수집하고 사용하는 데 어떤 교활한 이유가 없습니다. 그들은 단지 자신이 하고 있는 일을 최적화하고 싶을 뿐입니다. 그러나 민감한 데이터, 특히 개인과 관련된 데이터에 제한 없이 접근하는 이러한 접근 방식은 의도하지 않은 결과를 초래할 수 있습니다.

생각해 보기 위해 자동차가 운전 데이터를 수집하여 보험 회사와 공유한다고 가정해 보겠습니다. 보험 회사는 자체적으로 정의한 몇 가지 기준에 따라 귀하를 무책임한 운전자로 판단합니다. 실수를 하지 않더라도 보험료가 올라갈 것입니다. 더 심각한 경우는 스마트 워치가 건강 데이터를 수집하여 건강 보험 제공자에게 판매하고 이 데이터를 기반으로 순전히 건강 보험료를 인상하기로 결정한 경우입니다. 여러분에게는 공평할까요? 아마 이런 예는 더 많이 떠올릴 수 있을 것입니다. 엔지니어는 성능 최적화를 원하고 기업은 수익 최적화를 원합니다. 따라서 데이터에 대한 무제한적인 접근은 데이터를 수집하고 오용하는 개인을 제외한 모든 사람에게 이득이 됩니다. 그리고 우리를 포함한 이러한 개인이 ...