PythonによるWebスクレイピング 第3版

1章インターネットの仕組み

これまでの私の人生において、インターネットの仕組みを本当に理解している人に、ほとんど会ったことがありません。

我々の多くは、必要な範囲でインターネットを使えるように、一連の感覚的な抽象化で何とか対処しています。こうした抽象化は、プログラマーであっても、キャリアの中で特に難しい問題を解決するために必要だった範囲を超えて広がることはあまりないでしょう。

ページ数と著者の知識には制限があるので、この1章もこの種の抽象化に依存せざるを得ません。インターネットとWebアプリケーションの仕組みについて、Webスクレイピングに必要な範囲まで（おそらくはもう少し拡張して）説明します。

この章では、ある意味Webスクレイパーが動作する世界、つまり本書を通して何度も言及されることになる慣習、実践方法、プロトコル、標準について説明します。

Webブラウザのアドレスバーに URLを入力し［Enter］キーを押すと、まるで魔法のようにテキスト、画像、メディアが表示されます。何十億人もの人がWebサイトにアクセスするために同じアプリケーションを使うことで、これと同じことが毎日起きています。そして多くの場合、メディアやテキストは個々のユーザーごとにカスタマイズされています。

こうした何十億人もの人々は、異なる（競合することもある）企業の、異なる開発者によって開発された、異なる種類のデバイスやソフトウェアアプリケーションを使用しています。

しかし、驚くことに、インターネットを規制し、何らかの法律上の効力を用いてインターネットの発展を調整する万能の統治機関は存在しません。その代わり、ある程度アドホックかつ自主的な参加方式で時間の経過とともに発展した異なる組織がインターネットのさまざまな部分を管理しています。 ...