고성능 파이썬(2판)

426

고성능 파이썬(2판)

를 사용해서 성능은 거의 그대로 유지한 채로 문자열

set

의 크기를

1

.

2GB

에서

30MB

로 압축

한다.

이 예제의 텍스트 셋은 위키백과의 일부를 가져와서 만들었다. 이 셋에는 영어 위키백과에서

가져온 서로 다른 토큰

1100

만 개가 있으며, 디스크에서 총

120MB

를 차지한다.

토큰은 원래 글의 공백을 기준으로 분리한다. 각각의 길이는 가변적이며 유니코드 숫자와 문자

를 포함한다. 토큰 모양은 다음과 같다.

faddishness

'melanesians'

Kharálampos

PizzaInACup™

url=

"

http://en.wikipedia.org/wiki?curid=363886

"

VIIIa),

Superbagnères.

이 텍스트 예제를 사용해 유일한 단어의 인스턴스를 저장하는 자료구조를 얼마나 빨리 구축할

수 있는지 테스트한다. 그리고 알려진 단어 (아주 드문 단어를 사용하려고 화가 알프레드 츠비

벨

Alfred

Zwiebel

의 이름에서 가져온 ‘

Zwiebel

’이라는 단어를 사용한다 )를 얼마나 빠르게 찾을 수

있는지 살펴본다. 이런 알고리즘을 활용하면 “예전에

Zwiebel

이라는 단어를 본 적이 있나?”

와 같은 질문을 할 수 있다. 토큰 검색은 흔한 문제이며, 이런 문제는 빨리 처리하는 것이 중요

하다.

NOTE

_ 여기에서 본 컨테이너를 ...