June 2019
Beginner to intermediate
664 pages
18h 26m
Korean
Content preview from 파이썬 라이브러리를 활용한 데이터 분석(2판): 영화 평점, 이름 통계, 선거 데이터 등 실사례 사용
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
259
6
장
데이터 로딩과 저장, 파일 형식
●
Bcolz
Blocs
압축 알고리즘에 기반한 압축이 가능한 컬럼지향 바이너리 포맷이다.
●
Feather
R
커뮤니티의 해들리 위컴과 내가 함께 설계한 컬럼지향 파일 형식이다.
Feather
는 아파치 에로우의 메모리
포맷을 사용한다.
6.2.1
HDF5
형식 사용하기
HDF5
는 대량의 과학 계산용 배열 데이터를 저장하기 위해 고안된 훌륭한 파일 포맷이다.
C
라이브러리로도 존재하며 자바, 줄리아, 매트랩, 그리고 파이썬 같은 다양한 다른 언어에서도
사용할 수 있는 인터페이스를 제공한다.
HDF
는
Hierarchical
Data
Format
의 약자로 계층
적 데이터 형식이라는 뜻이다. 각각의
HDF5
파일은 여러 개의 데이터셋을 저장하고 부가 정
보를 기록할 수 있다. 보다 단순한 형식과 비교하면
HDF5
는 다양한 압축 기술을 사용해서 온
더플라이
on
-
the
-
fly
(실시간 ) 압축을 지원하며 반복되는 패턴을 가진 데이터를 좀 더 효과적으로
저장할 수 있다. 메모리에 모두 적재할 수 없는 엄청나게 큰 데이터를 아주 큰 배열에서 필요한
작은 부분들만 효과적으로 읽고 쓸 수 있는 훌륭한 선택이다.
PyTables
나
h5py
라이브러리를 이용해서 직접
HDF5
파일에 접근하는 것도 가능하지만
pandas
는
Series ...