전문가를 위한 파이썬(2판)

214

1

부

데이터 구조체

4

.

11

요약

‘

1

문자 ==

1

바이트’라는 개념을 거부하면서

4

장을 시작했다. 전 세계적으로 유니코드가 채택

되면서, 텍스트 문자열이라는 개념은 파일에 저장된 내용을 나타내는 이진 시퀀스와 분리해야

했다. 파이썬

3

은 문자열과 이진 시퀀스를 다르게 바라본다.

bytes

,

bytearray

,

memoryview

등의 이진 시퀀스형을 간략히 살펴본 후 인코딩과 디코딩을 살

펴봤다. 그리고 몇 가지 코덱을 설명한 후 파이썬 소스 파일을 잘못 인코딩했을 때 발생하는

UnicodeEncodeError

,

UnicodeDecodeError

,

SyntaxError

를 예방하거나 처리하는 방법을 알아봤다.

그러고 나서 메타데이터가 없을 때 인코딩을 탐지하는 이론과 방법을 살펴봤다. 이론적으로는

불가능하지만, 실제로

Chardet

패키지는 여러 주류 인코딩에 대해 텍스트의 코덱을 상당히 잘

찾아낸다. 그리고

UTF

-

16

과

UTF

-

32

에서 (그리고

UTF

-

8

에서도 종종 ) 인코딩을 알려 주

는 데 사용하는 바이트 순서 표시도 살펴봤다.

그 뒤에는 간단하지만 한 가지 주의할 점이 있는 작업인 텍스트 파일 열기 연산을 살펴봤다. 텍스

트 파일을 열 때

encoding

인수가 필수 인수는 아니지만, 반드시 사용하는 편이 좋다. 인코딩을

지정하지 않으면 프로그램은 기본 인코딩이 다른 여러 플랫폼에서 호환되지 않는 ‘평문’을 생성한

다. 그리고 파이썬이 기본적으로 사용하는 여러 인코딩 환경 설정과 이 설정을 알아내는 방법을

살펴봤다. 윈도우에서는 ...