머신러닝 시스템 설계

90

머신러닝 시스템 설계

파일 크기에 영향을 미침 ) 등 다양한 특성을 고려합니다. [표

3

-

1

]은 작업에서 흔히 맞닥뜨리

는 몇 가지 포맷 예시입니다. 더 많은 포맷이 궁금하다면 위키백과 문서 ‘데이터 직렬화 포맷

비교

Comparison

of

data

-

serialization

formats

’

10

를 참조하기 바랍니다.

표

3-1

흔히 사용하는 데이터 포맷 및 사용 위치

포맷 이진 / 텍스트 사람이 읽을 수 있는가? 유스 케이스

JSON

텍스트 예 매우 다양함

CSV

텍스트 예 매우 다양함

파케이 이진 아니오 하둡, 아마존 레드시프트

Avro

이진 포맷이 기본 아니오 하둡

Protobuf

이진 포맷이 기본 아니오

구글, 텐서플로(

TFRecord

)

Pickle

이진 아니오 파이썬, 파이토치 직렬화

이어서 몇 가지 포맷을 살펴봅시다. 먼저

JSON

을 알아본 뒤 공통점이 있으면서도 각각 고유한

패러다임을 나타내는

CSV

와 파케이

Parquet

를 살펴봅니다.

3.2.1 3.2.1

JSONJSON

JSON

JavaScript

Object

Notation

은 널리 활용되는 포맷입니다. 자바스크립트에서 파생됐지만 언어

독립적이며 최신 프로그래밍 언어는 대부분

JSON

생성과 파싱을 지원합니다.

JSON

은 사람

이 읽을 수 있습니다. 키-값

key

-

value

쌍 패러다임은 단순하지만 강력하며 다양한 ...