August 2022
Beginner to intermediate
424 pages
7h 18m
Japanese
book
機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発
by Lewis Tunstall, Leandro von Werra, Thomas Wolf, 中山 光樹
Content preview from 機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
11章Transformerの未来
本書では、さまざまな自然言語処理タスクにおけるTransformerの強力な能力を探ってきました。この最終章では、視点を変えて、Transformerに関する現在の課題と、その課題を克服しようとする研究動向について紹介します。最初に、モデルとコーパスのサイズの両方において、Transformerをスケールアップするトピックを探ります。次に、セルフアテンション機構を効率化するための技術に目を向けます。最後に、テキスト、画像、音声など複数の領域にまたがる入力をモデル化できる、マルチモーダルTransformerという新しい分野を紹介します。
11.1 Transformerのスケーリング
2019年、研究者のRichard Sutton（https://oreil.ly/119br）は「The Bitter Lesson（苦い教訓）」（https://oreil.ly/YtD3V）と題する挑発的なエッセイを書き、次のように主張しました。
70年にわたるAI研究から得られた最大の教訓は、計算を活用した一般的な手法が最終的には大差をつけて効果的だということです。短期的には、研究者はドメインに関する人間の知識を活用して改善しようとしますが、長期的に重要なのは計算を活用することです。この2つは互いに相反する必要はないのですが、実際にはそうなりがちです。そして、人間の知識によるアプローチは、計算を活用する一般的な手法に適さない形で手法を複雑化する傾向があります。
このエッセイでは、チェスや囲碁など、人間の知識をAIシステムにエンコードするというアプローチが、最終的に計算量の増加に負けた歴史的な例をいくつか紹介しています。Suttonはこれを、AIの研究分野にとっての「苦い教訓」と呼んでいます。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.