August 2022
Beginner to intermediate
424 pages
7h 18m
Japanese
book
機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発
by Lewis Tunstall, Leandro von Werra, Thomas Wolf, 中山 光樹
Content preview from 機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
2章テキスト分類
テキスト分類は自然言語処理においてもっとも一般的なタスクの1つです。顧客からのフィードバックをカテゴリに分類したり、サポートチケットを言語に応じて振り分けるなど、幅広い用途で利用できます。皆さんの使っているメールソフトのスパムフィルターも、テキスト分類を利用して、大量の迷惑メールから受信箱を守っていることでしょう。
もう1つの一般的なテキスト分類はセンチメント分析です。これは「1章 入門 Transformers」で見たように、与えられたテキストの極性を識別することを目的としています。たとえば、Teslaのような会社は、図2-1のようなTwitterの投稿を分析することで、人々が新しい車のルーフを好きかどうかを判断できます。
図2-1 Twitterの投稿を分析することで、顧客から有益なフィードバックが得られる（提供：Aditya Veluri）
さて、皆さんがデータサイエンティストで、Twitter上で自社の製品について人々が表現する「怒り」や「喜び」といった感情の状態を自動的に識別するシステムを構築する必要があるとします。本章では、DistilBERT†1と呼ばれるBERTの派生モデルを使ってこのタスクに取り組みます。このモデルの主な利点は、BERTと同等の性能でありながら、サイズが大幅に小さく、より効率的であることです。これにより、分類器を数分で学習できます。より大きなBERTモデルを学習したい場合は、事前学習済みモデルのチェックポイントを変更するだけです。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.