August 2022
Beginner to intermediate
436 pages
9h 43m
Korean
Content preview from SQL로 시작하는 데이터 분석
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
297
5
장
텍스트 분석
stop
word
7
를 결과에서 제외해야 합니다. 이 데이터셋에서
the
,
and
,
a
등은
UFO
와 관련해 특
별한 의미가 없기 때문입니다. 몇몇 데이터베이스는 불용어 사전을 별도로 내장합니다. 불용
어는 표준이 정해져 있지는 않으므로 분석 목적에 따라 단어를 추가하거나 제거하면 됩니다.
인터넷에 다양한 불용어 목록이 있지만 여러분의 편의를 위해 이 책의 깃허브에서는
stop
_
words
테이블을 생성하는
SQL
코드를 제공합니다. 테이블에는 흔히 사용하는 불용어
421
개
가 저장돼 있습니다. 앞서 실행한 쿼리 결과와
stop
_
words
테이블에
LEFT
JOIN
을 수행해 불
용어를 제외한 단어별 언급 개수를 확인해봅시다.
SELECT
word,
count
(*)
as
frequency
FROM
(
SELECT
regexp_split_to_table(
lower
(description),’\s+’)
as
word
FROM
ufo
) a
LEFT
JOIN
stop_words b
on
a.word = b.stop_word
WHERE
b.stop_word
is
null
GROUP
BY
1
ORDER
BY
2
desc
;
word frequency
------ ---------
light 97071
lights 89537
object 80785 ...