July 2025
Beginner to intermediate
284 pages
4h 39m
Korean
Content preview from LLMOps
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
4장. LLM을 위한 데이터 엔지니어링
이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: translation-feedback@oreilly.com
이 장에서는 데이터 엔지니어링, 데이터 관리 관행, 사용 가능한 데이터베이스 도구 및 시스템에 대해 알아봅니다. LLM 엔지니어가 되고자 하거나 회사의 데이터 엔지니어링 노력을 이끌고자 하는 데이터, DevOps 및 MLOps 엔지니어를 대상으로 논의가 진행됩니다. 이 챕터가 끝나면 데이터 엔지니어링의 기초와 LLM을 위한 모범 사례에 대해 확실히 이해하게 될 것입니다.
데이터 엔지니어링과 LLM의 부상
1960년대 후반, 영국의 컴퓨터 과학자 Edgar F. Codd는 자기 복제 컴퓨터로 박사 학위를 막 마친 후 IBM에서 일하고 있었습니다. 코드는 데이터 배열 이론에 매료되어 1970년 "대규모 공유 데이터 뱅크를 위한 데이터의 관계형 모델" 이라는 IBM 내부 논문 을 발표했는데, 이 논문은 오늘날 우리가 관계형 데이터베이스로 알고 있는 을 소개하는 내용이었습니다. 예를 들어, 각 레코드에 제품과 판매된 고객에 대한 모든 정보가 들어 있는 판매 테이블 대신 관계형 데이터베이스는 이 데이터를 고객용, 제품용, 판매용 등 여러 개의 관련 테이블에 저장합니다. 관계형 데이터베이스 이전에는 고객 주소만 변경해도 해당 고객에 대한 모든 판매 기록을 변경해야 했기 때문에 메인프레임에서는 비용이 많이 드는 작업이었습니다. 관계형 데이터베이스에서는 고객 레코드만 변경하면 모든 관련 레코드가 업데이트됩니다.
이 논문은 IBM의 어느 누구도 당장 매료시키지는 못했지만, IBM 메인프레임과 호환되는 최초의 관계형 데이터베이스를 개발 및 판매한 Oracle 설립자 래리 엘리슨을 비롯한 여러 컴퓨터 과학자 및 취미 활동가들의 관심을 끌었습니다. IBM 또한 데이터베이스를 쿼리하는 언어를 개발했는데, 원래 이름은 SEQUEL이었지만 지금은 구조화된 쿼리 언어(SQL)로 불리며 나중에 표준이 되었습니다. 1981년, 코드는 관계형 데이터베이스에 대한 연구로 컴퓨터 과학 분야에서 가장 권위 있는 상인 튜링상을 수상했습니다. 관계형 데이터베이스의 인기와 이를 관리할 시스템의 필요성을 인식한 IBM은 1983년 자체 데이터베이스 관리 시스템인 DB2를 만들었습니다. 관계형 데이터베이스는 인덱싱, 카탈로그 작성 등 모든 곳에서 사용되는 업계 표준이 되었습니다. IBM과 Oracle( )에서 기업을 위해 이러한 시스템을 관리하던 사람들을 데이터베이스 관리자라고 불렀고, 보통 DBA로 줄여서 불렀습니다. ( 데이터 엔지니어 ( )라는 직함은 2010년대 들어 클라우드 컴퓨팅과 함께 인기를 얻었습니다.)
코드는 나중에 또 다른 논문인 "사용자 분석가에게 OLAP 제공: 온라인 분석 처리 ( ) 라는 용어를 만들어 다차원 데이터를 신속하게 처리하고 쿼리하는 시스템을 지칭했습니다. OLAP은 오늘날 대부분의 데이터 처리 시스템의 기반입니다.
1990년, 팀 버너스 리가 월드와이드웹을 만들면서 생성되고 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.