February 2022
Intermediate to advanced
512 pages
8h 17m
Japanese
book
実践 自然言語処理 ―実世界NLPアプリケーション開発のベストプラクティス
by Sowmya Vajjala, Bodhisattwa Majumder, Anuj Gupta, Harshit Surana, 中山 光樹
Content preview from 実践 自然言語処理 ―実世界NLPアプリケーション開発のベストプラクティス
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
付録AspaCyを使った日本語処理
中山 光樹
本付録は日本語版オリジナルの記事です。本書ではこれまで、主に英語を対象とした自然言語処理について取り扱ってきました。本稿では、spaCyを用いた日本語処理について解説します。内容や考え方の多くは言語に依存しないものなので、他の言語に取り組む際にも役に立つでしょう。
本稿のサンプルコードは次のリポジトリから入手できます。
A.1 はじめに
spaCyは産業応用向きの自然言語処理用Pythonライブラリです。とくに業務用に設計されており、大量のテキストを処理し、理解するアプリケーションの構築を支援します。情報抽出や自然言語理解システムの構築、あるいはディープラーニングのためのテキスト前処理に利用できます。最新の研究に基づいて作られていますが、研究用のソフトウェアではないので、そのような用途であれば別のソフトウェアを使うとよいでしょう。
spaCyではさまざまなことをできますが、主な機能を表A-1にまとめます。機能の中には、言語学的な概念に関係するものもあれば、機械学習に関連するものもあることがわかります。また、数十を超える言語での動作をサポートしているため、英語や日本語以外のテキストを処理するアプリケーションを構築する際にも役立ちます。ただし、言語ごとのサポート状況に差がある点には注意する必要があります。サポート状況の詳細についてはhttps://spacy.io/usage/models#languagesを参照してください。
表A-1 spaCyの主な機能
| 機能名 | 説明 |
|---|---|
| トークン化 | テキストを単語や句読点に分割する |
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.