第37章 ユニコードとバイト列 ユニコードとバイト文字列
この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている:translation-feedback@oreilly.com
第7章では、Pythonの文字列の話は、基礎から始めるのを助けるためにわざと水増しした。基本を学んだので、この章ではPythonのUnicodeテキストとバイナリデータの文字列物語を完全に含むように拡張していく。
Python 3.Xでは、通常の文字列が単にUnicodeであるため、この拡張は必読に昇格した。それでも、このトピックにどれだけ関心を持つ必要があるかは、あなたが以下のカテゴリのどれに当てはまるかに大きく依存する:
ASCII以外のUnicodeテキストを扱う場合、例えばインターネットコンテンツ、国際化されたアプリケーション、XMLパーサー、いくつかのGUIなどの文脈で、PythonのすべてのUnicode
strオブジェクトとUnicode対応テキストファイルの両方で、テキストエンコーディングの直接的でシームレスなサポートを見つけることができる。バイナリデータを扱う場合、例えば画像や音声ファイル、ネットワーク転送、低レベルのツールで共有される などのパックされたデータを扱う場合、Pythonの
bytesオブジェクトと、テキストとバイナリデータ、ファイルの鋭い区別を理解する必要がある。一般的な
strオブジェクト、テキストファイル、そしてお馴染みの文字列演算子を使って。あなたの文字列は、あなたのプラットフォームのデフォルトのUnicodeエンコーディングを使ってエンコードされ、デコードされる!
確かに、ソフトウェアの世界の片隅でテキストが常にASCIIであれば、単純な文字列オブジェクトとテキストファイルで何とかなるかもしれないし、この後の話の多くを避けることができる。すぐにわかるように、ASCIIはUnicodeの単純な一種であり、他の一般的なエンコーディングのサブセットであるため、プログラムがASCIIテキストのみを処理する場合、文字列演算子やファイルは「単に動作する」だけであり、この制限を逸脱することはない。
Pythonの文字列モデルの基本を理解することで、根本的な詳細を理解することができ、将来Unicodeやバイナリデータの問題が発生したときに備えることができる。今日、ほとんどのソフトウェア・キャリアにおいてウェブが重要な位置を占めていることを考えると、その影響は「いつか」というより「いつ」の問題かもしれない。
ユニコードの基礎
コードに入る前に、UnicodeモデルとPythonのUnicodeサポートの一般化から始めよう。両方を完全に理解するには、文字がコンピュータで実際にどのように表現されるかを簡単に見ることから始めなければならない。
文字表現
ほとんどのプログラマは文字列を、テキスト・データを表現するために使われる一連の文字(本当はその整数コード)と考えている。それはUnicodeの新しい世界でも変わらないが、文字がコンピュータのメモリやファイルに保存される方法は、どのような文字が記録されるのか、またプログラマがどのように記録するのかによって異なる。
米国の多くのプログラマにとって、ASCIIは文字列の原型となった概念である。ASCIIは標準、文字コード0...127(この章では常に包括的な範囲を意味する)を定義しているため、各文字を1つの8ビットバイト(7ビット使用)に格納することができる。例えば、ASCII規格は文字 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access