June 2025
Intermediate to advanced
356 pages
5h 13m
Japanese
Content preview from PythonによるWebスクレイピング 第3版Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
15章APIを介したクローリング
JavaScriptは古くから、あらゆるWebクローラーにとって悩みの種でした。インターネット黎明期には、Webサーバーに対してHTMLページをリクエストすれば、ブラウザで表示されるHTMLとまったく同じ内容が返ってくることが保証されていました。
JavaScriptやAjaxによるコンテンツ生成やページの読み込みが一般的になって来ており、この傾向はますます強まっています。「14章 JavaScriptのスクレイピング」では、その解決策の1つとして、Seleniumを用いてブラウザを自動操作とデータを取得する方法を紹介しました。この方法は手軽に実行できて、ほとんどの場合問題なく動作します。
問題は、Seleniumのような強力で効果的な「ハンマー」を手にすると、あらゆるWebスクレイピングの問題が、このハンマー用の「釘」に見えてくることです。
本章では、JavaScriptをまったく扱わずに（実行もロードも関係なしに）、APIを介してデータの源を直接取得する方法について述べます。
15.1 APIの簡単な紹介
REST、GraphQL、JSON、XML APIについて、多数の書籍や講演、参考資料が存在しますが、その本質はごく単純な概念に基づいています。API（Application Programming Interface）とは、異なるプログラミング言語で書かれていたり構造が違っていても、ソフトウェア同士で通信できるようにするための標準的な構文を定義するものです。
本節では、Web API（特にWebサーバーがブラウザと通信するためのAPI）に焦点を当て「API」という用語がWeb APIを示すものとして扱います。他の文脈ではAPIがより一般的な用語として使われる場合があることを忘れないでください。例えば、同じ端末で実行されているJavaプログラムとPythonプログラムが通信する場合にもAPIという用語が使われます。APIは必ずしも「インターネットを介する」必要はなくWeb技術を伴うとは限りません。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.