March 2018
Beginner to intermediate
332 pages
6h 1m
Korean
Content preview from 9가지 사례로 익히는 고급 스파크 분석(2판): 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
108
9가지 사례로 익히는 고급 스파크 분석 (2판)
이제 아홉 중 일곱을 제대로 예측한다. 물론 아홉 모두를 정확히 예측할 때까지 규칙을 추가할
수 있다. 최종 의사 결정 나무를 구성하는 논리 구조를 일상의 언어로 바꾸면 이상하게 보일 수
있다. “동물의 무게가
100kg
미만에, 몸은 녹색이 아닌 갈색이며, 다리가
10
개 미만이면 애완
동물로 적절하다”라는 논리 구조는 주어진 예제에는 정확하게 들어맞지만, 작고 갈색에 다리가
4
개인 늑대인간은 애완동물로는 부적절하다고 예측하지는 못할 것이다.
과적합
이라고 알려진
이런 부작용을 피하기 위한 균형이 필요하다.
스파크로 의사 결정 나무를 사용하기 위한 소개는 이 정도면 충분하다. 이 장의 나머지는 의사
결정 규칙을 어떻게 선정할지, 규칙을 언제까지 추가해야 하는지, 그리고 랜덤 포레스트를 생
성하여 어떻게 정확한 예측을 할 수 있는지를 다룰 것이다.
4.5
Covtype
데이터셋
이번 장에서 사용할 데이터셋은 잘 알려진
Covtype
데이터셋(산림 식생 데이터 )으로, 압축
된
CSV
형식 데이터 파일(
covtype
.
data
.
gz
)과 이 파일에 대한 정보를 담고 있는 첨부 파일
(
covtype
.
info
)을 인터넷에서 구할 수 있다 (
http
://
bit
.
ly
/
1KiJRfg
).
이 데이터셋에는 미국 콜로라도주의 산림 유형이 기록되어 있다. 랜덤 ‘포레스트’라고 해서 진
짜 포레스트
Forest
, 숲
가 나올지는 몰랐겠지만, 그저 우연일 뿐이다. 각 표본은 고도, 경사, 수원
水源
까지의 거리, 그늘진 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.