June 2025
Intermediate to advanced
356 pages
5h 13m
Japanese
Content preview from PythonによるWebスクレイピング 第3版
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
5章高度なHTMLのパース
彫刻家のミケランジェロは、ダビデ像のような傑作をどのようにして彫刻できたのかと聞かれたとき、「それは簡単だ。ダビデの姿に見えない部分の石を削り出してしまえばいい。」と答えたという有名な逸話があります。
Webスクレイピングは、大理石の彫刻ではありませんが、複雑なWebページから必要な情報を抽出する際には同様のアプローチを取ることになります。この章では、目的の情報を得る際に必要のないものを取り除くためのさまざまな技法を探ります。複雑なHTMLページは、最初はハードルが高いですが、どんどん削っていきましょう。
5.1 BeautifulSoupの使い方
「4章 スクレイパーの開発」では、BeautifulSoupのインストールと実行、およびオブジェクトを1つずつ選択する方法について簡単に説明しました。この節では、属性によるタグの検索、タグのリストに対する操作、解析済みツリーの扱いについて説明します。
現在のほとんどのWebサイトでは、スタイルシートが使われています。スタイルシートは、WebブラウザがHTMLをカラフルで美しいデザインにレンダリングするためのものです。Webスクレイパーは、このスタイルシートが提供する部分を無視できるようにも思えますが、実際にはそうとも言えません。それは、CSSでHTML要素を異なるスタイルにするためには、その要素を区別する必要があるからです。
CSSは、Web開発者がHTML要素にタグを追加するためのインセンティブを提供します。例えば、次のようなタグがあります。
<span class="green"></span>
その他には、次のようなタグもあります。
<span class="red"></span>
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.