Skip to Content
スパーク定義ガイド
book

スパーク定義ガイド

by Bill Chambers, Matei Zaharia
March 2025
Intermediate to advanced
606 pages
9h
Japanese
O'Reilly Media, Inc.
Content preview from スパーク定義ガイド

第26章. 分類

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている:translation-feedback@oreilly.com

分類 は、いくつかの入力特徴を与えられたラベル、カテゴリー、クラス、または離散変数を予測するタスクである。回帰のような他のMLタスクとの重要な違いは、出力ラベルが可能な値の有限セット(例えば、3つのクラス)を持つことである。

使用例

第24章で述べたように、分類には多くの使用例がある。ここでは、分類が実世界で使われうる多くの方法を補強するものとして、さらにいくつか考えてみよう。

信用リスクの予測

経理会社は、企業や個人に融資を行う前に、多くの変数に注目するかもしれない。融資を提供するかどうかは、二元的な分類の問題である。

ニュースの分類

あるアルゴリズムが、ニュース記事のトピック(スポーツ、政治、ビジネスなど)を予測するように訓練されるかもしれない。

人間の活動を分類する

携帯電話の加速度計やスマートウォッチなどのセンサーからデータを収集することで、その人の活動を予測することができる。出力は、有限のクラスセット(歩く、寝る、立つ、走るなど)のいずれかになる。

分類の種類

続ける前に、いくつかの異なるタイプの分類を確認しておこう。

バイナリ分類

、分類の最も単純な例は、予測できるラベルが2つしかない二値分類である。一例として、与えられた取引を詐欺かそうでないかに分類する詐欺分析、あるいは与えられたメールをスパムかそうでないかに分類するメールスパムがある。

多クラス分類

バイナリ分類の先にあるのは、2つ以上のラベルから1つのラベルを選択する、マルチクラス分類である。典型的な例は、フェイスブックが与えられた写真に写っている人物を予測したり、気象予報士が天気(雨、晴れ、曇りなど)を予測したりすることだ。予測するクラスのセットが常に有限であることに注意しよう。これは多項分類とも呼び出される。

マルチラベル分類

最後に、 、与えられた入力から複数のラベルを生成できるマルチラベル分類がある。例えば、本そのもののテキストに基づいて本のジャンルを予測したい場合がある。これはマルチクラスである可能性もあるが、1冊の本が複数のジャンルに分類される可能性があるため、おそらくマルチラベルの方が適している。マルチラベル分類のもう一つの例は、画像に現れるオブジェクトの数を特定することだ。この例では、出力予測数は必ずしも固定ではなく、画像ごとに異なる可能性があることに注意しよう。

MLlibの分類モデル

Spark には、バイナリおよびマルチクラス分類を実行するためのモデルがいくつか用意されている。Sparkの分類には以下のモデルが利用できる:

  • ロジスティック回帰

  • 決定木

  • ランダムフォレスト

  • グラディエント・ブースト・ツリー

Sparkはマルチラベル予測をネイティブにはサポートしていない。マルチラベルモデルをトレーニングするためには、ラベルごとに1つのモデルをトレーニングし、それらを手動で組み合わせる必要がある。手動で構築した後は、この種のモデルの測定をサポートする組み込みツールがある(章の最後で説明する)。

この章では、それぞれのモデルの基本を説明する:

  • モデルの簡単な説明とその背後にある直感

  • モデルのハイパーパラメータ(モデルを初期化するさまざまな方法)

  • トレーニングパラメータ(モデルの学習方法に影響を与えるパラメータ)

  • 予測パラメータ(予測がどのように行われるかに影響するパラメータ) ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

高性能Spark

高性能Spark

Holden Karau, Rachel Warren
生成AIの可視化

生成AIの可視化

Priyanka Vergadia, Valliappa Lakshmanan
ソフトウェア工学の基礎

ソフトウェア工学の基礎

Nathaniel Schutta, Dan Vega

Publisher Resources

ISBN: 9798341627567