August 2022
Beginner to intermediate
424 pages
7h 18m
Japanese
book
機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発
by Lewis Tunstall, Leandro von Werra, Thomas Wolf, 中山 光樹
Content preview from 機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
10章Transformerをゼロから学習する
本書の冒頭で、GitHub Copilotという高機能なアプリケーションを紹介しましたが、これはGPTに似たTransformerを用いてコードの自動補完を行うものです。新しい言語やフレームワークでのプログラミング、コードの学習、あるいは定型コードの自動生成にとくに有用な機能となっています。このような目的でAIモデルを利用する製品としては、TabNine（https://tabnine.com）やKite（https://kite.com）があります。その後、「5章 テキスト生成」で、GPTを使って高品質のテキストを生成する方法について詳しく説明しました。本章では、GPTのようなモデルを構築し、Pythonのソースコードを生成します。このモデルをCodeParrotと呼ぶことにしましょう。
これまでは、ラベル付きデータの量が限られた、データに制約のあるアプリケーションを主に扱ってきました。このような場合、転移学習は性能の良いモデルを構築するのに役立ちます。「9章 ラベルのないまたは少ない状況への対応方法」では、転移学習を極限まで利用し、学習データをほとんど利用しないモデルを構築しました。
本章では、もう一方の極端な状況として、大規模なデータがあるときにできることを紹介します。本章では、事前学習のステップそのものを検討し、ゼロからTransformerを学習する方法を学びます。この問題に取り組む中で、次のような学習の側面について初めて考えることになるでしょう。
- 非常に大規模なデータセットの収集と処理
- 用意したデータセット専用のトークナイザーの作成
- 複数のGPUを使ったモデル学習のスケーリング
何十億ものパラメータを持つ大規模なモデルを効率的に学習するためには、分散学習のための特別なツールが必要になります。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.