Skip to Main Content
データサイエンス設計マニュアル
book

データサイエンス設計マニュアル

by Steven S. Skiena, 小野 陽子, 長尾 高弘
January 2020
Beginner to intermediate content levelBeginner to intermediate
728 pages
10h 26m
Japanese
O'Reilly Japan, Inc.
Content preview from データサイエンス設計マニュアル
196 7 数理モデル
デルの中のさまざまな問題が隠されてしまう。実装やデータの正規化にバグがあり、本来よりも低い性能し
か得られていないかどうかがわからなくなってしまう。訓練データとテストデータが混ざってしまい、テス
トでは実際よりもはるかに高い成績を出す場合もある。
起こっていることを本当の意味で知るためには、スニッフテストをする必要がある。私の個人的なスニッ
フテストは、モデルが正解を出した少数の事例とモデルが間違った少数の事例をじっくりと見るというもの
であ
る。目標は、モデルがなぜその結果にたどり着いたかを理解することだ。できれば、「名前」がわかっ
ているレコード、つまり、探索的なデータ分析や専門分野の知識から正解が何かについて勘が利く事例が
よい。
今後の課題
モデ
ルの評価統計量しか見ないデータサイエンティストが多すぎる。自分が犯した誤りが正当化
できるものか、深刻なものか、それほど重大ではないものかを把握していなければ、優れたデー
タサイエンティストとは言えない。
モデルを評価して得られた正確度の値に違和感があるかどうかも良い手がかりになる。予想よりも性能が
高いか、それとも低いか。人間の力で判断しなければならないものとして、自分ならそのタスクでどれくら
い正確な答えを出せると思うか。
これと関連しているが、モデルの性能があと少し高ければどれくらいよいかという感覚をつかむことも大
切だ。単語を正しく分類する NLP タスクで、95 % の正確度だと、2, 3 文に 1 つの割合で誤りを犯す。これ ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

オブザーバビリティ・エンジニアリング

オブザーバビリティ・エンジニアリング

Charity Majors, Liz Fong-Jones, George Miranda, 大谷 和紀, 山口 能迪
Python機械学習クックブック

Python機械学習クックブック

Chris Albon, 中田 秀基
PythonによるWebスクレイピング 第2版

PythonによるWebスクレイピング 第2版

Ryan Mitchell, 黒川 利明, 嶋田 健志

Publisher Resources

ISBN: 9784873118918Other